Какие метрики измерять (прямые и вторичные)
- Основные:
- конверсия (визит → покупка): $CR=\frac{\text{orders}}{\text{sessions}}$ - средний чек (average check / AOV): $AOV=\frac{\text{revenue}}{\text{orders}}$ - доход на сессию / посетителя: $RPS=\frac{\text{revenue}}{\text{sessions}}$ - Метрики взаимодействия с чат‑ботом:
- открытие бота, сообщения на сессию, доля с успешным решением (self‑service rate), время до решения, handoff к оператору
- конверсия среди сессий с ботом: $C{R}_{bot}=\frac{\text{orders with bot}}{\text{sessions with bot}}$ - Метрики рекомендаций:
- показы рекоменд. блоков, CTR по рекомендациям: $CT{R}_{rec}=\frac{\text{rec clicks}}{\text{rec impressions}}$ - конверсия по кликам рекомендаций, доля заказа, где есть рекомендованный товар
- Побочные / защитные метрики:
- bounce rate, checkout abandonment, среднее количество позиций в корзине, возвраты, CSAT/NPS, среднее время сессии, нагрузка на саппорт, LTV/retention (7/30/90 дней)
- Формулы для эффектов:
- относительный прирост: $\Delta \%=\frac{v_t-v_c}{v_c}\times 100\%$ - абсолютный эффект для выручки: $\Delta R=R_t-R_c$
Какие A/B‑тесты проводить (дизайн и варианты)
- Для чат‑бота:
1. Presence test: контроль (нет бота) vs бот (встроенный). Цель: влияние на $CR,AOV,RPS$.
2. Proactive vs passive: бот, который проактивно предлагает помощь, vs только по запросу. Измерять конверсию, отток, CSAT.
3. Сценарии/персонализация: шаблонные скрипты vs персонализированные скрипты (на основе истории/категорий). Измерять CR, AOV, среднее количество позиций.
4. Handoff strategy: полная автоматизация vs быстрый перевод оператору — измерять conversion velocity и cost per ticket.
5. Каналы/плейсмент: баннер-бот vs иконка на странице категории vs карточке товара.
- Для рекомендательных систем:
1. Персонализированные рекомендации vs статичные (best‑sellers). Измерять CTR_{rec}, CR_{rec}, AOV.
2. Алгоритмы: коллаборативная фильтрация vs content‑based vs гибрид. Сравнивать «доля заказов с рекомендованными товарами» и AOV.
3. Позиция и количество: рекомендации в карточке товара vs корзина vs checkout; тест 3/4/6 элементов.
4. Фильтрация цен/маржи: показывать товары с высокой маржой vs наиболее релевантные — смотреть выручку и margin per order.
5. Рекомендации + промо: персонализированный купон через рекомендацию vs без купона.
- Комбинированные тесты:
- Факторный (2x2): бот (on/off) × рекомендации (personalized/generic). Оценить взаимо­действие (synergy или cannibalization).
- Контрольные моменты:
- randomization на уровне сессии или пользователя (предпочтительно пользователя)
- избегать перекрестного воздействия (sticky assignment)
- удерживать тесты по времени, пока не конвергируют сезонные эффекты
Инструментирование (события и атрибуция)
- События: session_start, view_item, add_to_cart, checkout_start, order_placed (order_value), rec_impression, rec_click, bot_open, bot_message, bot_resolved, handoff, user_id.
- Окна атрибуции: для рекомендаций/бота обычно 24–72 часа по сессии и 7 дней для заказов; указывать явно.
- Сегменты: новые vs вернувшиеся, mobile vs desktop, по категории товаров, по каналам трафика, по CLTV когорты.
Статистика: значимость, размер выборки, тестирование средних/долей
- Порог: $\alpha =0.05,\text{power}=0.8$ рекомендуются как стандарт.
- Для разницы долей (конверсия): примерная формула размера выборки на вариант:
$$n=\frac{{\left(Z_{1-\alpha /2}\sqrt{2\hat{p}(1-\hat{p})}+Z_{1-\beta }\sqrt{p_1(1-p_1)+p_2(1-p_2)}\right)}^2}{(p_1-p_2{)}^2}$$ где $\hat{p}=\frac{p_1+p_2}{2}$.
- Для разницы средних (AOV, часто скошен): при использовании нормального приближения:
$$n={\left(\frac{Z_{1-\alpha /2}\sigma \sqrt{2}}{\Delta }\right)}^2$$ где $\sigma$ — оценка стандартного отклонения AOV, $\Delta$ — минимально заметное изменение.
- Практика для AOV: использовать бутстрэп или лог‑трансформацию, потому что распределение цен обычно тяжёлое.
- Не проводить «peeking» без коррекции (использовать alpha‑spending или план sequential testing).
Анализ результатов и контроль рисков
- Анализ по первичным метрикам $CR$ и $AOV$, а также RPS и revenue uplift.
- Проверять сегменты: эффект может быть различным для новых/старых пользователей и по категориям товаров.
- Guardrails: если bounce/abandonment растут или CSAT падает — немедленно остановить.
- Оценивать экономический эффект: проверить изменение маржи, cost of bot (совокупная стоимость) и влияние на поддержку.
Коротко по гипотезам и приоритетам
- Гипотеза 1: чат‑бот повышает CR за счёт снижения фрикции (проверить Presence и Proactive).
- Гипотеза 2: персонализированные рекомендации увеличат AOV и долю дополнительных позиций (проверить алгоритмы и позиционирование).
- Приоритет: сначала простые бинарные тесты (вкл/выкл), затем оптимизация алгоритмов и UX, затем факторный тест для проверки взаимодействия.
Это минимальный набор метрик, тестов и статистических правил, чтобы достоверно измерить влияние чат‑бота и персонализированных рекомендаций на конверсию и средний чек в российском онлайн‑ритейле.