Коротко и по делу: набор гипотез + план A/B‑тестов, метрики, расчёт размера выборки и операции.
1) Набор гипотез (каждая — что менять → контроль vs вариант → метрика)
- Гипотеза 1 — CTA: изменение текста/цвета/размера кнопки "Купить" увеличит конверсию в покупку.
- Контроль: текущая кнопка; Вариант: новый текст/цвет/размер.
- Основная метрика: конверсия в покупку $\text{CR}=\frac{\text{покупки}}{\text{сеансы\_PDP}}$.
- Гипотеза 2 — Продуктовые изображения: больше качественных фото + видео увеличит добавления в корзину.
- Метрика: add-to-cart rate $\frac{\text{добавления в корзину}}{\text{сеансы\_PDP}}$.
- Гипотеза 3 — Социальное доказательство: показывать рейтинг и отзывы над складом повысит доверие и покупки.
- Метрика: конверсия в покупку $\text{CR}$.
- Гипотеза 4 — Доставка и доступность: отображение точных сроков/бесплатной доставки увеличит покупку.
- Метрика: CR и средний чек $\text{AOV}$.
- Гипотеза 5 — Счетчик оставшихся штук/ограничение по времени (scarcity) увеличит срочность и покупки.
- Метрика: CR, bounce rate.
- Гипотеза 6 — Цена/анкор: показать рекомендованную розничную цену (старая цена) и скидку увеличит конверсию.
- Метрика: CR и AOV.
- Гипотеза 7 — Быстрая покупка/One‑click: добавить "Купить в один клик" уменьшит шаги до покупки.
- Метрика: CR, время до покупки.
- Гипотеза 8 — Быстродействие страницы: сократить LCP/время загрузки увеличит CR.
- Метрика: CR, отказ/время на странице.
2) Основной экспериментальный дизайн
- Тип: рандомизированный A/B (или A/B/n для нескольких вариантов).
- Единица рандомизации: пользователь или сессия (предпочтительнее — уникальный пользователь, чтобы избежать перекрёстного влияния).
- Аллокация: равномерная между группами, по возможности фиксировать пользователей в группе на весь эксперимент.
- Primary metric: конверсия в покупку $\text{CR}$.
- Secondary / guardrail metrics: add-to-cart rate, checkout rate, AOV, revenue per session (RPS), bounce rate, время на странице, метрики качества (показ отзывы, ошибки).
- Уровень значимости: $\alpha =0.05$. Мощность: $1-\beta =0.8$.
- Мультивариант: при $k$ вариантах учёт множественной проверки (см. пункт 5).
3) Расчёт размера выборки (формулы)
- Формула для сравнения двух долей (равные группы):
$$n=\frac{2(Z_{1-\alpha /2}+Z_{1-\beta }{)}^2\hat{p}(1-\hat{p})}{{\Delta }^2}$$ где $\hat{p}$ — приблизительная конверсии контрольной группы, $\Delta$ — минимально детектируемый абсолютный эффект.
- Пример: пусть $\hat{p}=0.05$ (то есть $5\%$), хотим уловить абсолютный прирост $\Delta =0.01$ (то есть +1 п.п., относительный +20\%), $\alpha =0.05\Rightarrow Z_{1-\alpha /2}=1.96$, $1-\beta =0.8\Rightarrow Z_{1-\beta }=0.84$. Тогда
$$n=\frac{2(1.96+0.84{)}^2\cdot 0.05\cdot 0.95}{0.01^2}\approx 7448$$ — это количество пользователей на каждую группу.
- Для $k$ вариантов общий объём = $k\cdot n$. При множественных сравнениях можно корректировать $\alpha$ (см. ниже).
4) Оценка длительности
- Если дневной трафик на PDP равен $T_{\text{daily}}$ сессий, то дней требуется:
$$D=\frac{k\cdot n}{T_{\text{daily}}}$$ (округлять в большую сторону и учитывать минимум двух полных недель/рабочих циклов).
- Рекомендации: минимальная длительность эксперимента — не менее $2$ недель и полный цикл продаж (учитывать выходные и промо).
5) Множественные проверки и остановка
- Если тестируете несколько гипотез одновременно: применять корректировку (Bonferroni: делить $\alpha$ на число сравнений; или лучше Benjamini–Hochberg для контроля FDR).
- Не делать пилинг‑стоп (постоянная проверка p‑value). Либо заранее прописать критерии остановки, либо использовать метод последовательного тестирования (alpha spending, O'Brien‑Fleming).
- Пре-регистрация: фиксировать гипотезы, метрики и критерии успеха до запуска.
6) Сегментация и анализ
- Анализ по сегментам: устройство (моб/десктоп) $\Rightarrow$ ${\text{CR}}_{\text{mobile}}$, ${\text{CR}}_{\text{desktop}}$; источник трафика; новые vs возвращающиеся; ценовые сегменты.
- Проверять гетерогенность эффекта и взаимодействия.
7) QA и аналитика перед запуском
- Проверить корректность рандомизации и равенство входящих метрик.
- Следить за событием покупки (дедубликация, отложенные офферы).
- Логировать эксперимент‑id, variant, user_id, session_id.
- Мониторить технические метрики: ошибки JS, время загрузки, корректность A/B‑фреймворка.
8) Приоритеты и этапы реализации
- Этап 1: низкозатратные быстрые тесты (CTA, текст, расположение) — быстрый feedback.
- Этап 2: контент/картинки/социальное доказательство.
- Этап 3: функциональные изменения (one‑click, доставка, scarcity), быстрые/инфраструктурные (speed).
- Этап 4: кросс‑категорийный rollout и персонализация (если эффект положительный).
9) Критерии принятия решения
- Принять вариант, если разница по primary metric статистически значима при скорректированном $\alpha$ и экономически оправдана (ROI).
- Откатить или провести follow‑up эксперимент, если нет значимого эффекта или есть вред по guardrail metrics.
Если нужно, могу: рассчитать точный размер выборки для ваших текущих $\hat{p}$, желаемого lift и трафика; предложить конкретные варианты CTA/макетов или шаблон A/B‑эксперимента для вашей платформы.