Кратко — архитектура, как считать комбинированный скор, какие метрики и какие модели/эвристики применять.
1) Сигналы (фичи)
- Релевантность: классические скореры (BM25, TF‑IDF) и нейронные ранжеры (cross‑encoder BERT) дают $R$.
- Свежесть: разница времени публикации $\Delta t=\text{now}-\text{publish\_time}$. пример: экспоненциальное затухание $F=e^{-\lambda \Delta t}$ или полураспад $F=2^{-\Delta t/T_{1/2}}$.
- Персонализация: пользователь‑документная схожесть (коллаб.фильтрация / эмбединги): $P=u\cdot v$ или вероятность клика от персональной модели.
- Контекст: устройство, гео, сессия, тип запроса (temporal vs evergreen).
2) Базовый скор и нормализация
- Нормализовать компоненты (z‑score или min‑max) по выборке.
- Простая композиция: взвешенная сумма
$$S(d,u,q)=\alpha R+\beta F+\gamma P$$ где $\alpha ,\beta ,\gamma$ — гиперпараметры/обучаемые веса.
- Альтернативы: умножительный буст для свежести при temporal‑запросах:
$$S=R\cdot (1+\beta F)$$ или пороговая логика: применять персонализацию только при достаточной доверительности (confidence).
3) Архитектура ранжирования (распространённая схема)
- Кандидатная выдача (recall): BM25 / ANN по эмбедингам — быстро получить топ N.
- Переранжирование (re‑rank): GBDT (LightGBM/RankLib LambdaMART) или нейронный listwise рэнкер (BERT‑cross encoder для top‑50).
- Онлайновый слой персонализации: небольшая модель на сессиях/CTR для final score / re‑ordering.
- Каскадность снижает латентность и даёт гибкость.
4) Модели и алгоритмы комбинирования
- Градиентный бустинг с loss, оптимизирующим ранжирование: LambdaMART (оптимизация NDCG).
- Нейронные listwise модели (ListNet, ListMLE) и BERT‑cross encoder для re‑rank.
- Для кликов/CTR: бинарная логистическая регрессия / DNN, calibrated probabilities.
- Для онлайна: contextual bandits / Thompson sampling для exploration/exploitation.
- Для долгосрочной персонализации: matrix factorization, ALS, neural collaborative filtering, user/document embeddings (Siamese / DSSM).
5) Тренировка и коррекция смещений
- Разметка: ручные релевантности + implicit feedback (clicks, dwell time). Для кликов применять IPS или click models (DBN, UBM) для коррекции позиционного искажения.
- Валидация по временному сплиту (train до T, test после T) чтобы учесть свежесть.
6) Метрики качества
Offline:
- Precision@k, Recall@k.
- MRR: $\mathrm{MRR}=\frac{1}{|Q|}{\sum }_q\frac{1}{{\mathrm{rank}}_q}$.
- DCG/NDCG@k:
$$DC{G}_p=\sum _{i=1}^p\frac{2^{re{l}_i}-1}{{\log }_2(i+1)},NDC{G}_p=\frac{DC{G}_p}{IDC{G}_p}$$ - MAP (mean average precision) для бинарных релевантностей.
- Time‑aware NDCG / freshness‑weighted NDCG: весить релевантность через функцию свежести.
Online (A/B):
- CTR@k, CTR по позициям, mean dwell time, engagement (session length), long‑term retention.
- Business KPI: conversions, subscriptions.
- Статтесты: bucket A/B, bootstrap/период теста > достаточная мощность.
7) Эвристики и практические правила
- Классифицировать запрос: если temporal => повышать $\beta$ для свежести; иначе уменьшать.
- Персонализацию применять с порогом уверенности (если пользователь cold‑start — ставить $\gamma =0$).
- Мониторить разнообразие и соответствие (diversity reranking, MMR) чтобы избежать однотипных результатов.
- Мониторить позиционный и сезонный дрейф, ретренировать модели регулярно.
- Накладывать бизнес‑constraints (например, минимальная свежесть для новостей).
8) Рекомендации по внедрению
- Начать с простого: BM25 + линейная смесь $S=\alpha R+\beta F+\gamma P$, подобрать веса на валидации и A/B.
- Перейти к LambdaMART с фичами R,F,P и optimize NDCG@k.
- Для top‑relevant используйте BERT re‑ranker; для онлайна — contextual bandit для персонализации.
9) Итоговая формула (пример)
$$S(d,u,q)=\text{scale}(\text{Ranker}(d,q))\cdot (1+\beta \cdot e^{-\lambda \Delta t})+\gamma \cdot (u\cdot v_d)$$ где scale — нормализация ranker‑скара, $\Delta t$ — возраст документа, $u\cdot v_d$ — персон.скора.
Это компактный план: фичи → нормализация → каскадная архитектура → обучение (LambdaMART / нейро) → offline/online метрики → A/B и bandit‑exploration.