Кратко — какие подходы и практики применить, чтобы оценить и уменьшить смещение при высокой доле отказов, и как учитывать неопределённость.
1) Оцените механизм пропусков (MCAR / MAR / MNAR)
- MCAR: пропуски случайны — простейшее, но редко.
- MAR: пропуск зависит от наблюдаемых переменных — допускает корректировку через весовые и импритационные методы.
- MNAR: пропуск зависит от невидимых величин — нужны модели пропуска/чувствительный анализ (см. ниже).
2) Взвешивание и корректировки по известным маргиналям
- Постстратификация / калибровка: группируете по вспомогательным переменным с известными популяционными контрольными суммами и корректируете веса; найти $w_i$ при которых
$$\sum _i{w}_i{x}_i=X_{\text{pop}}$$ где $x_i$ — вектор вспомогательных признаков, $X_{\text{pop}}$ — известные итоги.
- Raking (IPF) — итеративная подгонка маргиналей.
- Ограничение/усечение весов (weight trimming) для контроля дисперсии.
3) Модели для вероятности ответа и IPW
- Оцените вероятность ответа ${\hat{p}}_i=P(R_i=1\mid z_i)$ по вспомогательным $z_i$ (логит/ГБМ).
- Инверсионно-весовой оценщик:
$${\hat{\mu }}_{IPW}=\frac{{\sum }_i{R}_i{y}_i/{\hat{p}}_i}{{\sum }_i{R}_i/{\hat{p}}_i},$$ где $R_i$ — индикатор ответа.
- Проверяйте стабильность весов, баланс по $z_i$.
4) Импутация (однократная и множественная)
- Множественная импутация (MI) при MAR: создаём $m$ наборов, оцениваем параметры в каждом $Q_j$ и комбинируем по Рубину:
$$\bar{Q}=\frac{1}{m}\sum _{j=1}^m{Q}_j,B=\frac{1}{m-1}\sum _{j=1}^m(Q_j-\bar{Q}{)}^2,\bar{U}=\frac{1}{m}\sum _{j=1}^m{U}_j,$$ $$T=\bar{U}+\left(1+\frac{1}{m}\right)B.$$ - Импутация должна учитывать дизайн выборки и веса.
5) Модельные методы и байесовские подходы
- Модели для исхода + модель пропуска (selection model, Heckman-style), или совместные модели (pattern-mixture).
- Байесовская иерархическая модель для заимствования информации между группами (полезно при малых подвыборках).
6) Подвыборки и неответные исследования
- Провести follow-up на случайной подвыборке отказавшихся (nonresponse follow-up) — получить «золотые» оценки смещения и скорректировать веса/модели.
- Использовать парапараметры/параданные (paradata), регистры, администр. данные для проверки и коррекции.
7) Чувствительный анализ и границы
- При подозрении MNAR выполнить чувствительный анализ (delta-adjustment в MI, варьировать параметры модели пропуска).
- Построить непараметрические границы (Manski) или диапазоны оценок при крайних допущениях.
8) Оценка дисперсии и корректный вывод
- Учесть влияние корректировки (веса, импутация) на дисперсию: использовать бутстрэп/репликатные веса или аналитические формулы для сложного дизайна и MI.
- Отчитывайтесь о design effect, эффективном объёме выборки.
9) Диагностика и отчётность
- Сравните респондентов и генеральную совокупность по вспомогательным переменным.
- Проверьте баланс после весовой корректировки.
- Сообщайте предположения о механизме пропуска, методы корректировки, результаты чувствительного анализа и ограничения.
Рекомендуемая последовательность действий (практическая чек-лист):
1. Собрать/объединить максимально возможные вспомогательные данные (демография, регионы, регистры, paradata).
2. Исследовать структуру отказов и сравнить по вспомогательным признакам.
3. Построить модель вероятности ответа; применить IPW и/или калибровку.
4. Выполнить множественную импутацию с учётом дизайна (или модельный подход).
5. Провести чувствительный анализ для MNAR.
6. Оценить дисперсию с учётом коррекций (бутстрэп/репликатные веса).
7. Документировать допущения и ограничения.
Инструменты: в R пакеты survey (взвешивание, калибровка), mice (MI), weightit/WeightIt/Balance for propensity weighting, boot/replicate для дисперсии.
Если нужно, могу предложить конкретный рабочий план или пример кода для вашего набора данных — пришлите структуру данных и какие есть вспомогательные переменные.