Коротко и по делу — предложу набор экспериментальных дизайнов и конкретные метрики + ключевые аналитические принципы.
Дизайны (цели и когда применять)
- Рандомизированное контролируемое исследование (RCT) — для валидации каузального эффекта на тревогу.
- Дизайн: пользователи рандомизируются в группу приложения vs активный контроль (например, учебные аудио без медитации) или ожидание.
- Длительность: основной эндпоинт через $8$ недель, дополнительный — через $3$ и $6$ месяцев.
- Стратификация по исходной тревоге (низкая/умеренная/высокая).
- A/B‑тестирование (в продакшн) — для повышения удерживаемости/вовлечённости и оценки модификаций продукта.
- Тесты функций: напоминания, персонализация, короткие форматы, геймификация, онбординг.
- Короткие итерации ($2$–$6$ недель) с метриками вовлечения как первичными.
- Использовать многорукие A/B или адаптивный (многорукий бандит) для оптимизации UX.
- Длительное наблюдение (когорта, EMA) — для экстернализации результатов и понимания долговременного эффекта в реальном мире.
- Частые эмпирические замеры состояния (EMA, раз в день/несколько раз в неделю) + пассивные данные (использование, сон, шаги).
- Полезно для изучения механизмов и медиаторов эффекта.
Ключевые метрики (что измерять и как)
- Основной клинический исход (субъективное благополучие / тревога)
- Изменение шкалы тревоги: GAD‑7 — первичный исход в RCT (например, разница в средних баллах между группами к $8$ неделе).
- Минимально клинически значимое изменение: порядка $\sim 4$ баллов (ориентировочно, уточнить по литературе).
- Вовлечённость / удержание (как KPI продукта)
- Дневная/недельная активность: DAU, WAU (фиксировать как абсолютные числа и относительные изменения).
- Ретеншн: удержание на $7$ и $30$ дней, когортный анализ.
- Частота сессий, медианная длительность сессии, процент завершённых сессий.
- Коэффициенты перехода по воронке (онбординг → первая сессия → регулярность).
- Физиологические маркеры (объективные сигналы тревоги)
- HRV (например, RMSSD), частота сердечных сокращений в покое, кожно‑электрическая активность, при возможности — кортизол.
- Измерять в стандартизованных условиях (утро/перед сном или во время короткого стресс‑теста).
- EMA / моментальные оценки
- Одно- или двухвопросный VAS тревоги/настроения несколько раз в неделю для отслеживания динамики.
- Побочные/дополнительные исходы
- Сон (самооценка и/или акселерометр), депрессия (PHQ‑9), удовлетворённость приложением, побочные эффекты.
Аналитика и принципы
- Пре‑регистрация гипотез и план анализа; заранее определить первичный исход и временной пункт.
- Анализ по принципу intent‑to‑treat (ITT) + per‑protocol для чувствительности.
- Контроль за множественной проверкой (если много вторичных исходов).
- Оценка модераторов и медиаторов (кто лучше отвечает на приложение, роль вовлечённости как медиатора).
- Управление оттоком: использовать методы взвешивания/импутации при пропусках.
Пример расчёта размера выборки (эскиз)
- Формула для сравнения средних (двух групп, одинаковые дисперсии):
$$n=\frac{2{\sigma }^2{\left(z_{1-\alpha /2}+z_{1-\beta }\right)}^2}{{\Delta }^2}$$ где $\sigma$ — стандартное отклонение, $\Delta$ — ожидаемая разница.
- Пример: $\sigma =5$, $\Delta =3$, $\alpha =0.05$ ($z_{1-\alpha /2}=1.96$), мощность $0.8$ ($z_{1-\beta }=0.84$):
$$n=\frac{2\cdot 5^2(1.96+0.84{)}^2}{3^2}=\frac{50\cdot (2.8{)}^2}{9}\approx \frac{50\cdot 7.84}{9}\approx 44\text{на группу}$$ - Учесть инфляцию из‑за оттока: при ожидаемом оттоке $40\%$ умножить на $\frac{1}{1-0.4}=1.67$.
Рекомендация по стратегии
- Провести RCT для доказательства эффективности на GAD‑7 (primary) с измерением физиологии у подвыборки.
- Параллельно запустить A/B‑тесты в продакшне, чтобы повысить удержание и вовлечённость; использовать результаты A/B для повышения комплаенса в последующих RCT.
- Вести длительную когорту с EMA и пассивными данными для изучения долговременных эффектов и механизмов.
Если нужно, могу предложить конкретный набор первичных/вторичных показателей, шаблон протокола RCT и список вопросов EMA.