Причины систематических расхождений
- Неправильная модель контактов: неверная сеть/структура (случайная граф vs реальная социальная сеть), неприменимая константа контактов во времени, игнорирование кластерности/связанности.
- Неверные параметры: плохо оценённые скорости передачи, периода инкубации/инфекционности, вероятности переходов; смещение из-за неполных/ошибочных данных.
- Упрощённые предположения о гетерогенности агентов: игнорирование возрастной/профессиональной/поведенческой разницы, суперраспространителей, иммунитета.
- Структурные ошибки модели: пропуск ключевых процессов (реакция поведения, вмешательства, сезонность, миграции).
- Начальные условия и границы: неверное начальное число заражённых, неверная география распространения.
- Стохастичность и конечный размер популяции: средние тенденции модели отличаются от реальных вариаций в малых популяциях.
- Измерительные и отчётные ошибки: задержки отчётов, недоучёт случаев, изменяющиеся тестовые стратегии.
- Невоспроизводимость политики/поведения: непредсказуемые изменения NPIs, соблюдения и т.п.
План валидации и калибровки (пошагово)
1. Определить цели моделирования и целевые метрики (например, кумулятивная заболеваемость, пик и его время, Rt, вторичная атакующая доля).
2. Сбор и предобработка данных: временные ряды случаев, тестирование, демография, контакты, интервенции, наблюдательные интервалы и их ошибки.
3. Разделение данных: calibration (тренировка) и validation (тест) по времени/регионам; кросс-валидация по регионам/периодам.
4. Выбор параметров для калибровки и фиксируемых параметров; анализ идентифицируемости.
5. Калибровка параметров: выбрать метод (MLE, байесовская инференция с MCMC, ABC, particle filter, оптимизация). Примеры критериев: минимизация RMSE или максимизация правдоподобия. Пример RMSE:
$$\text{RMSE}=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}.$$ 6. Регуляризация и априорная информация: использовать информативные приоры или штрафы, чтобы избежать переобучения.
7. Проверка на синтетических данных (recovery test): сгенерировать данные моделью с известными параметрами и проверить, восстанавливаются ли они при калибровке.
8. Валидация: предсказание на отложенной выборке, posterior predictive checks, сравнение кривых (время пика, высота пика, итоговая заболеваемость).
9. Чувствительный анализ: локальная и глобальная (например, Sobol), профильный likelihood.
10. Итерация: при необходимости изменить структуру модели (добавить процессы, изменить сеть), затем повторить калибровку/валидацию.
11. Документирование ограничений и областей применимости.
Методы оценки неопределённости прогноза
- Байесовский подход: апостериорные распределения параметров (MCMC, SMC) → предиктивные распределения и доверительные интервалы, например 95%-кредитные интервалы $[q_{0.025},q_{0.975}]$.
- Энсембли (параметрический/непараметрический бутстрэп): множество запусков с параметрами из распределения/бутстрэпом данных.
- Частотный профильный likelihood и профильные интервалы параметров.
- Фильтры/данные-ассимиляция (particle filter, ensemble Kalman): оценка неопределённости в реальном времени.
- Глобальный чувствительный анализ (Sobol, FAST): вклад каждого параметра в дисперсию вывода.
- Эмуляторы (Gaussian Process) для быстрой оценки неопределённости при дорогих симуляциях.
- Сценарный анализ: набор правдоподобных сценариев (поведение, интервенции) и сравнение результатов.
- Метрики качества неопределённости: калибровка (coverage), sharpness, Brier score, CRPS.
Критерии достаточности модели для принятия решений
- Предсказательная точность по ключевым метрикам на валидационных данных: например, RMSE/MAE ниже заранее установленного порога или относительная ошибка кумулятивной заболеваемости ≤ $\pm 10\%$ (порог зависит от задачи).
- Критерии покрытия: фактические наблюдения попадают в $95\%$-интервалы модели в заданной доле случаев (coverage близок к номиналу).
- Робастность решений: рекомендации политики не меняются при разумных изменениях параметров/сценариев (стабильность решения).
- Идентифицируемость и разумность оценок: параметры либо идентифицируемы, либо имеют информативные приоры; оценки не выходят за границы научной/эпидемиологической правдоподобности.
- Парсимония/стабильность модели: сложность оправдана улучшением прогноза (AIC/BIC или байесовские критерии). Примеры:
$$\text{AIC}=-2\log L+2k,\text{BIC}=-2\log L+k\log n.$$ - Оценка риска принятия решения с учётом неопределённости: ожидаемый ущерб/польза при учёте распределения прогнозов — решение считается допустимым, если ожидаемый риск ниже порога.
- Оперативные требования: модель достаточно быстра и интерпретируема для принятия срочных решений.
- Соответствие целям стейкхолдеров и прозрачность ограничений.
Коротко: выявить источники расхождений, провести итеративную калибровку с количественной валидацией и проверкой идентифицируемости, оценить неопределённость через апостериорные/энсемблевые методы и принимать решения только при достижении заранее заданных критериев точности, покрытия и робастности.