Кратко — дизайн, меры, контролируемые переменные и угрозы внутр. валидности с мерами их снижения.
1) Дизайн (рекомендация)
- Квазиэксперимент: неэквивалентная контрольная группа с до–после измерениями (pretest–posttest) или разностная схема (difference‑in‑differences) при наличии временных точек.
- Уровень вмешательства: класс/школа (чтобы уменьшить заражение), назначение treatment = «сообщения/практики growth» vs «fixed» по существующему расписанию/инициативе (нерандомизировано).
- Временная последовательность: измерение baseline (мотив., академ. достижения), внедрение установки на $1$ семестр, посттест сразу и follow‑up через $3\text{–}6$ мес; параллельно сбор данных по реализации (fidelity) и манипуляционной проверке.
2) Операционализация переменных
- Независимая: условие установки (binary: $1=$ growth, $0=$ fixed). Оценка дозы/фиделити: число уроков/скриптов, анкеты преподавателя.
- Зависимые (основные): академическая мотивация — самооценочные шкалы и поведенческие показатели.
- Шкалы: Academic Motivation Scale (AMS) или адаптированная версия для старшеклассников; дополнительно Growth Mindset Scale для проверки восприятия.
- Поведенческие: настойчивость на проблемных задачах (время/число попыток), выполнение внеурочных заданий, посещаемость, итоговые оценки/оценки по тестам.
- Дополнительные исходы: изменение стратегий обучения (MSLQ), выбор сложных курсов.
3) Какие переменные контролировать (обязательные)
- Предшкольные показатели: baseline мотивации $Y_{i,pre}$, предыдущий GPA / баллы тестов.
- Индивидуальные: возраст, пол, этническая принадлежность, SES (образование родителей, льготы).
- Класс/учитель: опыт учителя, стиль преподавания, размер класса.
- Школа: ресурсность, текущие интервенции, расписание.
- Временные эффекты: семестр/год, события, влияющие на всех.
4) Меры и инструменты
- Валидные опросники (линейка Лайкерта), стандартизованные тесты для достижений; надежность $\alpha$ Cronbach’а для шкал (>0.7).
- Объективные данные: журналы посещаемости, оценки в школе, лог‑файлы выполнения заданий.
- Манипуляционная проверка: вопросы о восприятии сообщения («я считаю, что способности изменяемы...»).
- Фиделити: наблюдения уроков, самозаписи учителей, чек‑листы.
5) Статистический анализ (основные модели)
- Модель ANCOVA/регрессия с контролем baseline:
$$Y_{i,post}={\beta }_0+{\beta }_{1}Treatmen{t}_i+{\beta }_2{Y}_{i,pre}+{\mathbf{X}}_i^{\prime }\gamma +u_{class(i)}+{ϵ}_i.$$ - Если несколько временных точек — DID:
$$Y_{it}=\alpha +\tau (Pos{t}_t\times Treatmen{t}_i)+\delta Treatmen{t}_i+\lambda Pos{t}_t+{\mathbf{X}}_i^{\prime }\gamma +u_i+{ϵ}_{it}.$$ - Многоуровневые модели при вложенности (students in classes/schools).
- Альтернативы: propensity score matching/weighting для балансировки ковариат; sensitivity analysis к скрытым смещениями.
6) Угрозы внутренней валидности и способы снижения
- Селекция (selection bias): ключевая угроза. Снижение — собрать богатый набор ковариат, propensity score matching/weighting, использовать классовые/школьные фикс‑эффекты, если возможно похожие контрольные школы.
- Модификация обработки (treatment contamination): кластеризация на уровне школы/класса, мониторинг контактов между группами.
- История (concurrent events): собирать данные о других интервенциях/важных событиях; включать в модель временные фиксы.
- Созревание (maturation): наличие контрольной группы и baseline измерения.
- Тестирование (pretest effects): альтернативные формы шкал или контроль за влиянием pretest в анализе.
- Инструментация (изменение измерений): стандартизированные инструменты, одна и та же методика на до и после.
- Регрессия к среднему: включать baseline в модель (ANCOVA) и избегать отбора по экстремальным значениям.
- Выпадение (attrition): отслеживать и сравнивать характеристики тех, кто выпал; использовать inverse probability weighting.
- Ожидание исследователя (observer/experimenter expectancy): слепые оценки, стандартизованная инструкция, автоматизированный сбор поведенческих данных.
- Интернализация сообщения/фиделити: проверять манипуляцию и учитывать дозу в качестве ковариаты.
7) Практические рекомендации
- Стремиться к кластерной реализации (класс/школа) и заранее планировать балансировку по ключевым показателям.
- Обязательный pretest по мотивации и достижениям.
- Собрать метаданные по учителям и школам для контроля.
- Выполнить robustness checks: PSM, multilevel models, анализ подгрупп, sensitivity to unobserved confounding (Rosenbaum bounds).
8) Пример размера выборки (эмпирическое приближение)
- При желании обнаружить эффект стандартизованной величины $d$:
$$n\approx \frac{2(z_{1-\alpha /2}+z_{1-\beta }{)}^2{\sigma }^2}{d^2},$$ где $z$ — квантиль нормального распределения, ${\sigma }^2$ — дисперсия исхода. В кластерном дизайне нужно корректировать на внутрикластерную корреляцию (ICC).
Итого: используйте pretest–posttest с кластеризацией, контролируйте baseline и важные ковариаты, применяйте методы балансировки и многоуровневый анализ; отдельно планируйте проверки фиделити и рискованных источников внутренней валидности.