Кратко — какие критерии измерять и какие статистические показатели/методы использовать для выбора лучшей стратегии (симуляции, онлайн, практические занятия с медиками).
1) Основные целевые параметры эффективности (что измерять)
- Усвоение знаний: баллы теста знания (пред/после).
- Практические навыки: объективные показатели (OSCE, симулятор) — успешность выполнения алгоритма (да/нет), время до начала помощи, глубина/частота компрессий, доля времени без компрессий.
- Удержание навыков во времени: повторные замеры через 1, 3, 6, 12 мес.
- Перенос в реальную ситуацию / поведение: зарегистрированные случаи оказания первой помощи, самоотчёт/наблюдение.
- Психологические/поведенческие: уверенность (self-efficacy), готовность вмешаться.
- Реализация и ресурсы: стоимость на ученика, требуемое время, масштабируемость, приемлемость учителей/учеников.
- Надёжность оценок: согласие экспертов/оценщиков.
2) Конкретные статистические показатели и метрики
- Изменение среднего балла (пред→после): разность средних, 95% ДИ, p-value.
- Эффект размера (стандартный): Кохеновское d: $d=\frac{{\overline{X}}_1-{\overline{X}}_2}{S_{pooled}},S_{pooled}=\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}}$.
- Для бинарных исходов (успешно/неуспешно): доли, относительный риск (RR), абсолютное риск-снижение (ARR), число, которого нужно обучить (NNT): $NNT=\frac{1}{ARR}$.
- Надёжность шкал: Cronbach's alpha; межоценочная согласованность: ICC: $\rho =\frac{{\sigma }_b^2}{{\sigma }_b^2+{\sigma }_w^2}$.
- Сравнение нескольких групп: ANOVA / ANCOVA (корректировка по базовым значениям) или непараметрические аналоги; при повторных измерениях — repeated measures ANOVA или смешанные эффекты.
- Моделирование повторных/кластерных данных: линейные/логистические смешанные модели (random effects для классов/школ): пример модели для результата $Y_{ij}$:
$Y_{ij}={\beta }_0+{\beta }_{1}Treatmen{t}_i+{\beta }_{2}Tim{e}_j+{\beta }_{3}Treatmen{t}_i\times Tim{e}_j+u_i+{\epsilon }_{ij}.$ - Кластерный дизайн: внутрикластерная корреляция (ICC) и design effect: $DE=1+(m-1)\rho$.
- Сохранение навыка: модель экспоненциального ослабления:
$Perf(t)=Per{f}_0{e}^{-kt},t_{1/2}=\frac{\ln 2}{k}.$ Можно применять анализ выживания (Kaplan–Meier, лог-ранк) если событие — «падение под порог компетентности».
- Экономическая оценка: стоимость на единицу эффекта, ICER:
$ICER=\frac{C_1-C_0}{E_1-E_0}$ (C — затраты, E — эффект, напр. число обученных, удержание навыка).
- Мощность и размер выборки (кластерный RCT): примерная формула (парные сравнения):
$n=\frac{(Z_{1-\alpha /2}+Z_{1-\beta }{)}^{2}2{\sigma }^2}{{\delta }^2}\times DE.$
3) Дизайн исследования/анализы для надёжного вывода
- Рандомизация по классам/школам; учёт кластеризации (ICC).
- Базовые измерения + ANCOVA или смешанные модели для повышения точности.
- Интеншн-то-тритмент (ITT) + пер-протокол.
- Неформальные/качественные: фокус-группы для приемлемости, барьеров.
- Пробный пилот перед масштабированием для уточнения затрат и логистики.
4) Критерии выбора «лучшей» стратегии (комбинируемые):
- Эффективность по ключевому клиническому/практическому исходу (напр., доля учащихся, успешно выполнивших ОСЕ/симуляцию) — первичный критерий.
- Устойчивость эффекта через 6–12 мес (скорость деградации навыка).
- Стоимость/ресурсы: низкая стоимость при сохранении эффекта или оправданный ICER.
- Масштабируемость и доступность (reach).
- Безопасность и этика (правильность выполнения).
- Приемлемость для школ и учащихся.
5) Практическая рекомендация по метрикам для отчёта (минимум)
- Primary outcome: доля учащихся, достигших критерия компетентности на OSCE (с 95% ДИ).
- Secondary: средняя разница баллов знаний, Cohen's d; показатели CPR (глубина, частота, hands-off time) — средние±SD и процент в целевом диапазоне.
- Retention: процент удержания компетентности через 6 мес; модель экспоненциального спада (оценка $k$ и $t_{1/2}$).
- Экономика: стоимость на успешно обученного + ICER между стратегиями.
- Статистика: использовать смешанные модели для учёта времени и кластеров; сообщать p, 95% ДИ, эффект размера.
Используя эти критерии и методы, можно обоснованно сравнить симуляции, онлайн-курсы и практику с медиками и выбрать стратегию с учётом эффекта, удержания навыка, стоимости и масштабируемости.