Пошагово — проверка корректности (verification) и валидация (validation), затем источники неопределённости, методы калибровки, оценка чувствительности и риски интерпретации.
1) Verification (техническая корректность модели)
- Unit/регрессионные тесты для ключевых модулей (контакты, передача, расписание).
- Репродуцируемость: фиксированные seed, несколько запусков с одинаковыми входами дают идентичные результаты.
- Консервации/границы: проверять сохранение населения, невозможность отрицательных счётчиков и т.п.
- Пределы и упрощённые случаи: сверка с аналитическими/компартментными моделями в пределах больших популяций или при усреднении (например, при случайных смешениях модель должна давать близкие значения SIR).
- Чувствительность по времени шага/разрешению: вариации шага времени и числа агентов (агрегирование/детализация) не должны радикально менять ключевые выводы.
- Code review и независимая верификация сторонней командой.
2) Validation (соответствие реальным данным)
- Многопоточная валидация: одновременно проверять на нескольких данных — подтверждённые случаи, госпитализации, смертность, серопревалентность, мобильность.
- Out-of-sample: калибровать на периоде $T_1$, проверять прогнозы на $T_2$.
- Posterior predictive checks (в байесовском подходе): сравнение распределений симуляций с наблюдениями.
- Cross-validation по географии/времени (leave-one-area/time-out).
- Воспроизведение известных эпизодов/интервенций (обычно «контрольные сценарии»).
- Экспертная (face) валидация: проверка поведенческих правил/реалистичности расписаний со специалистами.
3) Источники неопределённости (перечень)
- Параметрическая: скорости передачи, инкубационный период, доля бессимптомных, вероятность госпитализации.
- Структурная: выбранная схема контактов, правила поведения агентов, модель прогрессии болезни.
- Случайная (стохастичность): рандом поведения, малые числа в локальных очагах.
- Данные/наблюдения: неполнота тестирования, задержки отчётности, смещение выборки (например, тестирование по симптомам).
- Начальные условия и импорт случаев.
- Поведенческая/политическая реакция: изменение контактов в ответ на эпидемию/политику.
- Пространственная дискретизация и сетевые приближения.
- Идентифицируемость (нескольким наборам параметров соответствуют похожие выходы).
4) Методы калибровки параметров
- Определение функции стоимости/правдоподобия: например
$$C(\theta )=\sum _k{w}_k{d}_k({\text{data}}_k,{\text{sim}}_k(\theta )),$$ где $d_k$ — расстояние (RMSE, MAE, отрицательный log-правдоподобие).
- Часто используемые алгоритмы:
- Частотные: MLE/оптимизация (Nelder–Mead, CMA-ES, gradient-free).
- Байесовские: MCMC, Sequential Monte Carlo (SMC), Particle MCMC.
- Approximate Bayesian Computation (ABC) / likelihood-free methods — если явный likelihood недоступен.
- Particle filtering / iterated filtering для фильтрации временем-зависимых параметров.
- Data assimilation / ensemble Kalman filter для онлайн-калибровки.
- Мульти-целевая калибровка с весами для разных данных; учёт корреляций ошибок.
- Проверка идентифицируемости: профиль правдоподобия, параметрические доверительные интервалы, визуализация множества хороших решений (equifinality).
5) Оценка чувствительности
- Локальная: одномерная производная/one-at-a-time; быстрый индикатор, но не учитывает взаимодействия.
- Глобальная:
- Sobol-индикаторы (variance-based): декомпозиция дисперсии
$$\mathrm{Var}(Y)=\sum _i{V}_i+\sum _{i<j}{V}_{ij}+\dots ,S_i=\frac{V_i}{\mathrm{Var}(Y)}$$ даёт вклад параметра и взаимодействий.
- Morris method (elementary effects) — дешевый screening для множества параметров.
- PRCC (partial rank correlation coefficients) — ранговые корреляции при многомерных входах.
- Эмуляторы/мета-модели: Gaussian process или другие surrogate models для ускорения глобального анализа и оценки чувствительности.
- Сценарный анализ: ансамбли сценариев (combinations of plausible parameter sets) для оценки диапазона исходов.
- Количество прогонов для статистической стабильности: использовать повторные симуляции $n$ для оценки среднего и дисперсии (например, выбирать $n$ так, чтобы погрешность средней была приемлема).
6) Метрики оценки подгонки/качества
- RMSE:
$$\mathrm{RMSE}=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}$$ - MAE, log-likelihood, WAIC/DIC/AIC для сравнения моделей; в байесовском подходе — credible intervals и posterior predictive checks.
7) Риски неверной интерпретации при принятии решений
- Лжевероятности и чрезмерная уверенность: отчёты без явных интервалов и чувствительности ведут к ошибочным выводам.
- Reliance on a single calibrated parameter set (передаётся как факт) вместо диапазона сценариев.
- Корреляция ≠ причинность: модель подсказывает последствия заданных мер, но не доказывает причинность вне модели.
- Неподходящий масштаб: локальные решения на основе агрегированной модели (или наоборот) могут быть неверными.
- Игнорирование поведения и адаптации: политика меняет поведение людей, модель должна учитывать обратную связь.
- Данные с систематическими ошибками: подкалиброванная модель под искажённые данные даёт неверные прогнозы.
- Overfitting к историческим данным уменьшает прогнозную валидность.
- Коммуникационные риски: представление среднего сценария как «вероятного исхода» без диапазонов и вероятностей.
- Политические решения без учёта времени принятия меры, устойчивости соблюдения и вариантов compliance.
Короткие практические рекомендации
- Калибровать на множестве данных, сообщать интервалы неопределённости и ключевые допущения.
- Делать глобальный sensitivity analysis и представлять наиболее влиятельные параметры.
- Проводить out-of-sample проверки и публиковать процедуры верификации/валидации.
- При принятии политики показывать ансамбль сценариев и вероятности, а не одиночный прогноз.
(Если нужно, могу привести пример конкретного рабочего пайплайна калибровки/анализов с выбором алгоритмов и оценкой числа прогонов.)