Как решаются подобные задачи на статистику? Вы придумали колдунщик, который улучшает Яндекс.Поиск, и хотите подтвердить свою идею в A/B-эксперименте. Всего за день пользователи задают 400 млн запросов, а ваш колдунщик показывается на 50% запросов. У вас две выборки: контрольная и экспериментальная (ваш колдунщик показывается только в экспериментальной). Для эксперимента вам доступно 100% от потока запросов (по 50% на каждую выборку). Определите, какова должна быть продолжительность эксперимента, чтобы стало статистически значимым изменение метрики «Доля кликнутых поисковых выдач» на 1% с p-value = 0.05. Считайте, что до эксперимента доля кликнутых поисковых выдач составляла 10%. Опишите ваше решение.
Как решаются подобные задачи на статистику? Вы придумали колдунщик, который улучшает Яндекс.Поиск, и хотите подтвердить свою идею в A/B-эксперименте. Всего за день пользователи задают 400 млн запросов, а ваш колдунщик показывается на 50% запросов. У вас две выборки: контрольная и экспериментальная (ваш колдунщик показывается только в экспериментальной). Для эксперимента вам доступно 100% от потока запросов (по 50% на каждую выборку). Определите, какова должна быть продолжительность эксперимента, чтобы стало статистически значимым изменение метрики «Доля кликнутых поисковых выдач» на 1% с p-value = 0.05. Считайте, что до эксперимента доля кликнутых поисковых выдач составляла 10%. Опишите ваше решение.
Не можешь разобраться в этой теме?
Обратись за помощью к экспертам
Гарантированные бесплатные доработки в течение 1 года
Быстрое выполнение от 2 часов
Проверка работы на плагиат
Поможем написать учебную работу
Для решения этой задачи мы можем воспользоваться формулой для определения размера выборки в A/B-тесте. Формула имеет вид:
n = (Z^2 p (1-p)) / d^2
где n - размер выборки для каждой группы, Z - значение стандартного нормального распределения для заданного уровня доверия (обычно 1.96 для 95% доверия), p - ожидаемая доля успехов в выборке (в данном случае 10%), d - размер эффекта (разница между долями кликнутых поисковых выдач в контрольной и экспериментальной группе, в данном случае 1%).
Подставляя значения в формулу, получим:
n = (1.96^2 0.10 0.90) / 0.01^2 = 1382.4
Так как мы имеем по 50% запросов на каждую группу, то минимальный размер выборки для каждой группы составляет 1383.
Теперь нам нужно определить длительность эксперимента, чтобы набрать 1383 успешных событий (кликнутых поисковых выдач) в каждой группе. Общее количество запросов в день составляет 400 млн, из которых 200 млн попадают в экспериментальную группу. Предположим, что доля кликнутых поисковых выдач в экспериментальной группе увеличилась на 1% и составляет 11%.
Для расчета продолжительности эксперимента можно воспользоваться онлайн калькулятором A/B-тестов или использовать формулы, учитывающие статистическую мощность и другие факторы.
Таким образом, решая задачу, мы определили размер выборки для проведения A/B-теста, а затем вычислили продолжительность эксперимента, необходимую для получения статистически значимых результатов.