Кратко и по делу — что проверить и что запустить прямо сейчас и в перспективе.
1) Диагностика — ключевые цифровые метрики (обязательно сравнить когорты «до» и «после»):
- Ретеншн по дням: $R_d=\frac{\text{активные пользователи в день}d}{\text{пользователи в когорте}}$, особенно $R_1,R_7,R_{30}$.
- Отток: $\text{churn}=1-R_{30}$ (или по нужному окну).
- DAU / MAU и коэффициент удержания: $\text{DAU/MAU}$.
- Частота заказов: $\text{orders/user/week}$.
- Доля повторных пользователей (repeat rate) и конверсия «сессия → заказ».
- CTR рекомендованных карточек: $\text{CTR}=\frac{\text{clicks}}{\text{impressions}}$.
- Время от открытия до заказа (time-to-order) и средняя длина сессии.
- AOV (average order value), ARPU, LTV (приближенно: $\text{LTV}\approx \text{ARPU}\times \text{средняя продолжительность жизни}$).
- Показатели качества сервиса: время доставки, % отмен, возвраты, обращения в саппорт, NPS/CSAT.
- Мониторинг по сегментам: география, город, устройство, источник привлечения, тип пользователя (high-frequency / casual), частота заказа до изменения алгоритма.
2) Быстрые A/B-тесты (цель — остановить отток в краткосрочной перспективе, $1\text{–}4$ недели):
- Роллбек vs текущее: контроль = старый алгоритм, тест = новый; KPI: $R_7$, заказы/польз., доход/польз.
- Гибридный ранжировщик: ранжировать по смеси старого и нового: score = $\alpha \cdot scor{e}_{new}+(1-\alpha )\cdot scor{e}_{old}$; тестировать несколько $\alpha$ (например $\alpha =\{0.25,0.5,0.75\}$).
- Ранжирование с приоритетом «любимые рестораны»/последние заказы: метрика — CTR и conversion lift.
- Предложение целевых скидок/кредитов новым лояльным пользователям (win-back coupon): измерять lift в возврате пользователей: $\text{lift}=\frac{metri{c}_{test}-metri{c}_{control}}{metri{c}_{control}}$.
- Тесты пушей/CRM: разные тексты, тайминги и персонализация для недавне-неактивных; KPI — реактивация и $R_7$.
- UI/фильтры: добавить явный переключатель «рекомендации по старому алгоритму» → тест на удержание/удовольствие.
- Эксперименты с маркетплейс-видимостью: временно повышать видимость партнеров с хорошими рейтингами/быстрой доставкой.
3) Средне- и долгосрочные A/B/ML-гипотезы ($3\text{–}12$ месяцев):
- Переключить оптимизацию рекомендаций с краткосрочного CTR на общую ценность (мульти-целевая оптимизация: retention / LTV / margin). Тестировать модели, оптимизирующие прогноз повторного заказа.
- Bandit / causal experiments для быстрого адаптивного выбора ранжирования per-user.
- Персональная ценовая чувствительность: тесты персональных скидок vs общих промо (KPI: LTV, маржинальность).
- Onboarding и cold-start: тесты персонализации новых пользователей (быстрый опрос предпочтений) и их влияние на удержание.
- Loyalty / subscription: A/B тест тарифа с бесплатной доставкой/скидками и измерение изменения churn и LTV.
- Реструктуризация каталога (категории, подборки, локальные рекомендации) и её влияние на среднюю корзину и retention.
4) Маркетинговые гипотезы и кампании (что запустить и как измерять):
- Win-back сегментированные кампании: таргетировать недавно ушедших high-LTV с персональным оффером; KPI — %реактивации и возмещение стоимости оффера.
- Push/email с «верните ваши любимые» (показывать прошлые заказы и персонализированные рекомендации).
- Ограниченные по времени промо для критичных городов/сегментов с высоким оттоком.
- Реферальная программа с бонусом за привлечение/возвращение — тестировать по CAC и LTV.
- Партнёрские акции с ресторанами: эксклюзивные блюда/скидки — измерять lift в retention по гео.
- PR / коммуникация: объяснить пользователям изменение в рекомендациях (если изменение воспринимается как ухудшение) — A/B тестировать сообщения и их влияние на доверие/NPS.
5) Методология тестирования и критерии успеха:
- Разделять трафик по когорте «до»/«после» и по сегментам; обязательно смотреть абсолютные и относительные метрики.
- Для каждого эксперимента заранее определить primary KPI (например $R_7$ или orders/user/28d) и вторичные (AOV, маржа, NPS).
- Использовать lift-метрику: $lift=\frac{metri{c}_{test}-metri{c}_{control}}{metri{c}_{control}}$.
- Убедиться в статистической мощности и корректном расчёте p-value/CI; в быстрых тестах использовать sequential testing / Bayesian подходы, чтобы избежать ошибочных выводов при множественных сравнениях.
6) Приоритеты и план действий (пошагово):
- Немедленно: провести диагностику по когорте «после» vs «до»; запустить роллбек или гибридный ранжировщик на контрольной доле трафика.
- В течение $1\text{–}4$ недель: A/B тесты скидок/пушей/визуальных правок и мониторинг $R_1,R_7$.
- Через $1\text{–}3$ месяцев: внедрить персонализацию с оптимизацией на LTV, развернуть loyalty/подписку и масштабировать успешные маркетинговые кампании.
- Параллельно: повышать прозрачность для пользователей (коммуникация), улучшать метрики качества сервиса (доставка, отмены) — часто именно они усиливают отток.
Если нужно, могу предложить список конкретных A/B-протоколов (размер выборки, окно теста, контрольные переменные) под ваши данные.