Коротко и по делу — как строить и интерпретировать A/B‑тесты для персонализированных посадочных страниц и какие систематические ошибки их искажают.
1) Цели и гипотеза
- Чётко формализовать основную гипотезу (например: «персонализация увеличит конверсию в покупку»).
- Выбрать primary metric (например: конверсия за сессию, средний доход на посетителя — ARPV, LTV) и вторичные метрики (фаннел‑шаги, удержание).
2) Единица рандомизации и стабильность назначения
- Рандомизируйте пользователей (user‑level, не visit‑level) или строго фиксируйте «идентификатор» (cookie, user_id, device_id) — иначе персонализация будет мешать и создавать смешение.
- Обеспечьте персистентное назначение: один и тот же пользователь всегда в одной группе на период теста.
3) Экспериментальная схема для персонализации
- Тестируйте политику персонализации как единое вмешательство: назначьте процент пользователей в «персонализация ON» и «персонализация OFF» (или A: холодный вариант, B: персонализированный).
- Если тестируете алгоритмы персонализации, замораживайте модель/фичи на время теста (no training-on-test) и не давайте экспериментальным данным утекать в обучение модели.
- Для A/B/n или для мультирегиональных персонализаций используйте стратификацию/блокирование по важным факторам (канал, регион, устройство).
4) Размер выборки и длительность
- Рассчитайте n заранее. Для разницы долей (конверсия):
$$n\approx \frac{(z_{1-\alpha /2}+z_{1-\beta }{)}^2(p_0(1-p_0)+p_1(1-p_1))}{(p_1-p_0{)}^2}$$ где $p_0$ — базовая конверсия, $p_1=p_0+\Delta$ — ожидаемая, $z$ — квантиль нормального распределения.
- Для разницы средних (выручка):
$$n\approx \frac{2(z_{1-\alpha /2}+z_{1-\beta }{)}^2{\sigma }^2}{{\Delta }^2}$$ где ${\sigma }^2$ — дисперсия метрики, $\Delta$ — минимально значимый эффект.
- Длительность: достаточно равномерно покрыть сезонность (рабочие/выходные, рекламные кампании) — минимум 1–2 полных цикла недели, лучше 2–4 недели.
5) Анализ и статистика
- Тест статистика для долей:
$$z=\frac{{\hat{p}}_t-{\hat{p}}_c}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_t}+\frac{1}{n_c}\right)}},\hat{p}=\frac{n_t{\hat{p}}_t+n_c{\hat{p}}_c}{n_t+n_c}$$ - Для средних:
$$t=\frac{{\bar{X}}_t-{\bar{X}}_c}{\sqrt{s_t^2/n_t+s_c^2/n_c}}$$ - Отчёт: дать оценку эффекта (абсолютную и относительную), доверительный интервал и p‑value; интерпретировать практическую значимость, а не только статистическую.
- Коррекция множественных сравнений (при множественных тестах): Benjamini–Hochberg (FDR) или Bonferroni, при последовательном анализе — alpha‑spending / O’Brien‑Fleming.
6) Гетерогенность эффектов и доверие к персонализации
- Оцените CATE / uplift по сегментам, но избегайте data‑mining: преспецифицируйте ключевые сегменты или корректируйте на множественные тесты.
- Если персонализация адаптивна (онлайн‑обучение), используйте эксперименты на уровне политики (A/B policy), либо стабильные офлайн A/B.
7) Практические рекомендации по сбору данных
- Логируйте: assignment, exposure timestamp, variant, features used для персонализации, события (view, click, add_to_cart, purchase) и user_id.
- Замеряйте и тестируйте SRM (Sample Ratio Mismatch) — проверка, что доли групп соответствуют плану.
- Используйте pre‑period covariates (CUPED) для повышения мощности: скорректировать метрику на предэкспериментальные значения.
8) Основные систематические ошибки и как их избежать
- Нерендомизация / селективное назначение — приводит к конфаундингу. Решение: жёсткая random assignment по user_id.
- Ротация пользователей между группами (неперсистентность) — смазка эффекта. Решение: закрепить assignment.
- Утечка тестовой информации в модель персонализации (data leakage) — модель подгоняется под тест. Решение: трейн/валидация без данных из теста; holdout группы.
- Инструментальные ошибки (логируется неверно variant/exposure) — фальшпозитивы/негативы. Решение: мониторинг метрик экспозиции, аудит логов.
- SRM (несоответствие размеров выборок) — сигнал проблем с рандомизацией/трафиком.
- Печенье/кросс‑девейс/анонимные пользователи — множественные идентификаторы одного юзера искажают распределение. Решение: привязка к stable user_id либо моделирование дубликатов.
- Временные эффекты и сезонность (включение рекламных кампаний) — искажение. Решение: равномерное распределение по времени, или включение времени как ковариаты.
- «Peeking» (ранний анализ) — увеличивает вероятность ложных положительных. Решение: преспецифицировать правило остановки, либо использовать корректные методы последовательного тестирования.
- Множественные тесты и data‑mining — повышают FDR. Решение: корректировки или иерархический план тестирования.
- Неполное отслеживание целей (отложенные конверсии, длительный LTV) — недооценка эффекта. Решение: установить подходящее окно атрибуции или моделировать отложенные эффекты.
- Отбор пользователей в эксперимент (targeting bias) — если политика персонализации сначала таргетирует одни типы пользователей, то сравнение нечестно. Решение: рандомизация до применения таргетинга, либо рандомизация среди целевой популяции.
- Interference / SUTVA‑нарушение (взаимное влияние пользователей) — редкость для посадочных страниц, но важно при соц‑функциях. Решение: учитывать межпользовательские эффекты в дизайне.
- Адаптивные алгоритмы персонализации, которые меняют поведение на основе трафика из теста — могут привести к non‑stationary treatment. Решение: фиксировать модель и бизнес‑логику.
9) Интерпретация результатов
- Сравнивайте именно инкремент (разница A/B) и рассматривайте CI: если CI включает ноль — эффект статистически не значим.
- Оценивайте экономическую значимость: lift в % и в деньгах (ARPV * трафик).
- Проверяйте consistency across segments и time windows; если эффект только в узких сегментах — это повод для таргетированных запусков, но требует валидации.
- При отрицательном эффекте — разберите funnel‑логи, кто и как видит персонализацию (exposure rate, dropoff stages).
Краткий чеклист перед запуском
- Преспецифировано: метрика, размер, длительность, критерии успеха.
- Рандомизация: user‑level, персистентна.
- Логи: assignment + exposure + features.
- SRM и мониторы живут в продакшне.
- Коррекционные меры: множественные тесты, sequential testing если требуется раннее остановление.
Если нужно — могу дать шаблон преспецификации эксперимента или пример расчёта n под ваши числа (базовая конверсия, желаемый lift, α, β).