Система мониторинга и оценки — кратко: набор количественных и качественных показателей + методы сбора и правила интерпретации (триангуляция, базовая линия, временные точки, пороги). Ниже — конкретика.
1) Ключевые количественные показатели (как считать)
- Охват/участие: $\text{ParticipationRate}=\frac{N_{\text{participants}}}{N_{\text{eligible}}}$.
- Удержание/доверие к программе: $\text{Retention}=\frac{N_{\text{completed}}}{N_{\text{started}}}$.
- Изменение поведенческих показателей (примеры):
- Минуты физ. активности в неделю: $\Delta \%=\frac{{\bar{x}}_{post}-{\bar{x}}_{pre}}{{\bar{x}}_{pre}}\times 100\%$.
- Доля курящих: $\Delta p=p_{post}-p_{pre}$ или относительное изменение $\frac{p_{post}-p_{pre}}{p_{pre}}\times 100\%$.
- Здоровье/физиология: средний ИМТ, артериальное давление — сравнение средних и долей с нарушениями.
- Психическое здоровье: средняя оценка по шкале (например, PHQ‑9) — разница средних.
- Академические и утилитарные: частота пропусков, обращения в медпункт, средний балл — до/после.
- Эффективность затрат: $\text{CostPerParticipant}=\frac{\text{TotalCost}}{N_{\text{participants}}}$.
- Влияние (при наличии контролей): абсолютное снижение риска $\text{ARR}=p_{control}-p_{intervention}$; число, которое нужно лечить $\text{NNT}=\frac{1}{\text{ARR}}$.
- Статистические показатели: средние, стандартные отклонения, доверительные интервалы и p‑значения при тестах.
2) Качественные показатели и методы
- Знания и установки: глубинные интервью, фокус‑группы, открытые вопросы в анкетах.
- Восприятие доступности/барьеров: интервью с участниками и неучаствующими.
- Качество реализации (fidelity): наблюдения, чек‑листы, интервью с организаторами.
- Кейсы изменений и истории успеха (нarratives) — для понимания механизмов.
3) Дизайн сбора данных и временные точки
- Базовая линия (до внедрения).
- Краткосрочная оценка: $3\text{–}6$ месяцев — знания и поведенческие признаки.
- Среднесрочная: $12$ месяцев — устойчивость поведения и некоторые исходы здоровья.
- Долгосрочная: ежегодно для исходов и затрат.
- Источники: анкеты (онлайн), медицинские записи кампуса, трекеры активности (если есть согласие), наблюдения, интервью.
4) Интерпретация результатов — правила
- Сравнивайте с базой и заранее заданными SMART‑целями; первичная цель = поведение/исходы, вторичные = знание/удовлетворённость.
- Статистическая и практическая значимость: даже малое p‑значение требует оценки величины эффекта (Cohen's d):
$d=\frac{{\bar{x}}_{post}-{\bar{x}}_{pre}}{s_{\text{pooled}}}$,
$s_{\text{pooled}}=\sqrt{\frac{(n_{pre}-1)s_{pre}^2+(n_{post}-1)s_{post}^2}{n_{pre}+n_{post}-2}}$.
- Триангуляция: совпадение количественных и качественных данных усиливает доверие; расхождения указывают на проблему с реализацией или измерением.
- Атрибуция: использовать контролируемые/квазииконтролируемые дизайны, матчинг или interrupted time series, чтобы отделить эффект программы от внешних факторов.
- Пороговые правила для действий: примерная логика — высокий охват + низкий эффект = усилить содержательную часть; низкий охват + высокий эффект = улучшить коммуникацию и доступ; высокий эффект и высокая стоимость = анализировать cost‑effectiveness.
- Устойчивость изменений: если эффект снижается со временем — добавить поддерживающие интервенции.
5) Практические рекомендации по отчетности
- Дашборд: несколько ключевых KPI (охват, % изменивших поведение, среднее изменение показателя здоровья, стоимость/участник). Значения статуса: зелёный/жёлтый/красный относительно заранее заданных целей.
- Прозрачность: указывайте размер выборки, пропуски, метод сбора, статистические интервалы.
- Используйте сегментацию (по факультетам, полу, курсу) для выявления неравенств.
Коротко о приоритетах: базовая линия + регулярные замеры, сочетание количественных и качественных данных, анализ не только значимости, но и величины эффекта и стоимости; действуйте по заранее определённым правилам интерпретации (см. раздел 4).