Коротко — какие потенциальные переменные/модераторы подозревать и как изменить дизайн, чтобы понять и контролировать разнонаправленные эффекты.
1) Какие переменные/модераторы заподозрите (категории)
- Студенты:
- предварительная подготовка / базовый уровень знаний (prior achievement);
- когнитивные способности / рабочая память;
- мотивация, учебная самостоятельность, метакогнитивные навыки;
- языковая компетенция, SES, возраст.
- Преподаватели / реализация:
- опыт преподавания, обучение методике, приверженность (fidelity);
- стиль фасилитации, праздничность/строгость.
- Задачи и содержание:
- сложность задач (cognitive load), понятность формулировок, предметная область;
- соответствие оценочных инструментов (alignment с обучением через проблемы).
- Контекст и логистика:
- размер группы / степень взаимодействия сверстников;
- время/дозировка вмешательства, домашнее задание, поддержка.
- Измерение и отбор:
- предтест/посттест (чувствительность, потолок/ пол), селекционный отбор, дифференциальная утечка (attrition).
- Возможные модераторы:
- начальный уровень знаний (высокий/низкий), мотивация, рабочая память, fidelity преподавателя, сложность задач, класс/школа (контекстный уровень).
2) Как корректировать дизайн исследования (практически)
- Сбор данных о ключевых ковариатах: измерьте pretest, мотивацию, рабочую память, SES, fidelity — чтобы контролировать/исследовать модерацию.
- Рандомизация и стратификация:
- рандомизируйте на уровне ученика или кластера (класс/учитель); при заметной гетерогенности — стратифицируйте по pretest (например, низкий/средний/высокий).
- Блочный/факторный дизайн:
- если подозреваете влияние преподавательской подготовки или scaffold, используйте факторный дизайн (Treatment × Scaffolding).
- Контроль реализации:
- стандартизируйте инструкцию, обучите преподавателей, делайте манипуляционные проверки/fidelity-рейтинги, фиксируйте дозу (время).
- Аналитика для модерации/гетерогенности:
- тест модерации через взаимодействие: $$Y={\beta }_0+{\beta }_{1}T+{\beta }_{2}X+{\beta }_3(T\times X)+ϵ,$$ где $T$ — лечение, $X$ — модератор;
- для кластерного дизайна используйте многомерную модель: $$Y_{ij}={\gamma }_{00}+{\gamma }_{10}{T}_j+{\gamma }_{01}{X}_{ij}+{\gamma }_{11}(T_j\times X_{ij})+u_j+e_{ij}.$$ - Контроль исходного уровня (повышение мощности):
- используйте ANCOVA: $$Y_{post}={\beta }_0+{\beta }_{1}T+{\beta }_2{Y}_{pre}+\dots +ϵ.$$ - Проверка механизмов (медиаторы):
- если хотите понять «почему», измерьте возможный медиатор $M$ (например, активность решения задач) и проведите медиационный анализ.
- Практика с данными и надёжность:
- заранее рассчитайте мощность для детекции взаимодействий (нужны большие выборки для модераторов);
- контролируйте множественную проверку (предварительно прописанные субгруппы, корректировки p);
- намеренно-анализ (intention-to-treat) + анализ пер-протокола (per-protocol) для влияния реализации.
- Диагностика и доп. меры:
- проверяйте гетерогенность эффектов (heterogeneous treatment effects), простые наклоны (simple slopes), метод Джонсона–Неймана для областей значимости;
- избегайте потолочных/полных эффектов, подберите адекватные тесты (оценки проблемного решения, не только фактов);
- пилотируйте задачи, собирайте качественные данные (интервью, наблюдения) для объяснения направленных различий.
3) Конкретный план действий (коротко)
- измерьте pretest и ключевые модераторы заранее;
- стратифицированная рандомизация по уровню pretest (и/или по школе/классу);
- фиксируйте fidelity и дозу, стандартизируйте обучение преподавателей;
- используйте кластерную ММ/ANCOVA с взаимодействиями для теста модераторов;
- если найдены противоположные эффекты — проведите проспективный факторный/адаптивный дизайн, чтобы смоделировать для каких подгрупп методика полезна/вредна.
Если нужно, могу привести пример модели или шаблон протокола (рандомизация/переменные/анализ).