Краткий план эксперимента для количественной оценки влияния confirmation bias в небольшой лабораторной группе.
1) Цель
- Измерить, насколько предубеждение подтверждения влияет на интерпретацию данных и обновление убеждений в задачах анализа данных.
2) Дизайн и выборка
- Дизайн: смешанный (within-subjects по набору задач, between-subjects по манипуляции).
- Группы: "приминг в пользу H1", "приминг в пользу H0/альтернативы" и "нейтральный контроль".
- Рекомендуемые параметры: уровень значимости $\alpha =0.05$, мощность $1-\beta =0.8$. Для между-группового сравнения при ожидаемом среднем эффекте Cohen's $d=0.5$ оценка размера выборки:
$$n_{\text{группа}}\approx 2{\left(\frac{z_{1-\alpha /2}+z_{1-\beta }}{d}\right)}^2.$$ При $\alpha =0.05,1-\beta =0.8,d=0.5$ даёт $n_{\text{группа}}\approx 64$. Для небольшой лаборатории предпочтительнее within-subjects, где требуемый $n$ может быть существенно меньше; практично стремиться к \( n \ge 12\mathdash 30 \) участников с повторными задачами.
3) Материалы и задания
- Набор кратких наборов данных/графиков (контролируемые, с заранее известной «правильной» интерпретацией). Включить вариации в силе сигнала (ясные/размытые).
- Для каждой задачи участник: (a) формулирует интерпретацию/вывод (категория), (b) оценивает вероятность гипотезы до и после просмотра данных ( prior/posterior, шкала 0–100), (c) указывает уровень уверенности, (d) объясняет причину (текст).
- Манипуляция приминга: перед некоторыми задачами даётся краткое резюме/статья/гипотеза, предрасполагающая к H1 или H0; контроль — нейтральный текст.
4) Контрольные условия и проверка манипуляции
- Нейтральный текст vs. целенаправленный приминг в поддержку H1/H0.
- Перемешивание порядка задач, рандомизация влияния.
- Проверка манипуляции: спросить после приминга, в какую сторону участник был настроен (manipulation check).
5) Метрики (количественные)
- Confirmation rate: доля интерпретаций, согласующихся с предварительным примингом; для участника $i$:
$$C{R}_i=\frac{\#\{\text{выводов в пользу priming}\}}{\#\{\text{задач}\}}.$$ - Bias score (на уровне задачи или участника): разница между долей поддерживающих первоначальную гипотезу и альтернативу:
$$B_i=p_{\text{support},i}-p_{\text{opp},i}.$$ - Обновление убеждений:
$${\Delta }_i={\text{posterior}}_i-{\text{prior}}_i.$$ (медиана/среднее по задачам; знак/модуль показывают направление и величину обновления).
- Accuracy относительно "ground truth": доля правильных интерпретаций.
- Confidence: средняя самооценка уверенности.
- Время на решение: медиана/среднее времени per task.
- Качественный анализ обоснований: кодировка аргументов как "поддерживающие/опровергающие/нейтральные" с расчётом долей; надёжность кодирования — коэффициент Каппа $\kappa$.
6) Статистический анализ (основной)
- Для бинарного исхода (поддержал/не поддержал priming): смешанная логистическая регрессия с случайными эффектами по участнику и по задаче:
$$\text{logit}(P(Y_{ij}=1))={\beta }_0+{\beta }_1{\text{Priming}}_i+{\beta }_2{\text{SignalStrength}}_j+u_{participant(i)}+v_{task(j)}.$$ Проверяемая гипотеза: $H_0:{\beta }_1=0$.
- Для непрерывных метрик (bias score, $\Delta$, confidence): линейная смешанная модель:
$$Y_{ij}={\beta }_0+{\beta }_1{\text{Priming}}_i+{\beta }_2{\text{PriorBelief}}_i+u_{participant}+v_{task}+{ϵ}_{ij}.$$ - Альтернативно/дополнительно: байесовский иерархический моделинг для малых выборок; отчёт Bayes factor для силы доказательства.
- Непараметрические тесты (Wilcoxon signed-rank для парных сравнений, Mann–Whitney для независимых) при нарушении нормальности.
- Коррекция множественных сравнений: FDR или Bonferroni в зависимости от числа тестов.
7) Вторичный/дополнительный анализ
- Медиаторный анализ: проверка, опосредует ли уверенность ($\text{confidence}$) связь между примингом и интерпретацией.
- ROC/AUC для оценки чувствительности к истинному сигналу при разных примингах.
- Анализ временных данных: влияниена время принятия решения (Cox/regression).
- Robustness: исключение аутлайеров, бутстрэп доверительных интервалов.
8) Предобработка, критерии исключения и надёжность
- Предварительно определить критерии исключения (напр., пропуск > $50\%$ задач, ответы < $200$ мс).
- Проверка межкодировочной надёжности текстовых объяснений: $\kappa$ и процент согласия.
- Отчёт эффекта с доверительными интервалами $95\%$.
9) Протокол, предрегистрация и этика
- Предрегистрация гипотез, методов анализа и критериев исключения.
- Слепость (blindness): аналитик не знает принадлежности данных при первичном кодировании; участники не знают цели исследования.
- Дебрифинг и информированное согласие.
10) Отчётность
- Отчёт: эффекты ($\beta$) с $p$-значениями и/или байесовскими интервалами, размер эффекта (Cohen's $d$ или OR), доверительные интервалы $95\%$, мощности и ограничения.
- Пример вывода: "Priming увеличивает вероятность поддержать H1 на $\Delta p=0.15$ (OR = 1.8, $95\%CI$, $p<0.05$)".
Если нужно, могу дать конкретный шаблон протокола/формы данных или пример кода для анализа (R/lme4 или Bayesian в Stan).