Цель валидации — показать, что агентный симулятор воспроизводит ключевые эпидемические закономерности при известных параметрах и адекватно описывает данные с учётом стохастичности, наблюдательного шума и некорректной спецификации модели. План ниже.
1) Сценарии для тестирования
- Базовые / эталонные:
- «Хорошо смешанная» популяция (mean-field) — проверить совпадение со SIR-ODE при больших $N$.
- Разные режимы $R_0$: покой, порог, эпидемия: $R_0=\beta /\gamma$ перебрать, например, $\{0.5,0.9,1.0,1.2,2.0,3.0\}$.
- Структура контактов:
- Полностью смешанная, случайный граф ER, small-world, scale-free, реальные контактные матрицы (по возрасту).
- Инициация эпидемии:
- Одна начальная инфекция, несколько (распределённых), массовый импорт.
- Гетерогенность:
- Различия в степени контактов (вариативность, суперраспространители) — добавить overdispersion $k$ для вторичных случаев.
- Различия в восприимчивости/восстановлении (распределения ${\beta }_i,{\gamma }_i$).
- Интервенции и временная изменчивость:
- Переходные изменения $\beta (t)$ (локдауны, сезонность), частичное соблюдение мер.
- Краевые случаи:
- Малые популяции (силовой эффект стохастики), большую $N$ (детерминизация), $R_0$ близко к 1, очень высокий $R_0$.
2) Сетки параметров и репликации
- Сетка по $\beta$ и $\gamma$ охватывающая желаемые $R_0$; можно фиксировать $\gamma$ и варьировать $\beta$ так, чтобы $R_0\in [0.5,5]$.
- Для каждой комбинации параметров и сценария — многократные прогонки $M$ (например, $M\ge 500$ для оценивания распределений; в зависимости от времени — минимум $M=100$).
- Включить варианты наблюдательной модели: полное наблюдение vs случайная отчётность $p$ (подсчёт/пропуск), задержки отчёта, шум типа Пуассона/негативного биномиального.
3) Статистики, которые собирать
- Траектории по времени: $S(t),I(t),R(t)$ — средние, медианы, квантили (5%, 95%).
- Инцидентность: новые случаи в момент $t$: $C(t)$.
- Ключевые характеристики:
- Начальный темп роста $r$ (оценка по ранним данных): для SIR при $S_0\approx N$ $r\approx \beta -\gamma$.
- Время до пика $t_{peak}$.
- Величина пика $I_{\max }={\max }_{t}I(t)$.
- Итоговый атакующий риск (final size) $AR=R(\infty )/N$.
- Вероятность исчезновения (fadeout) — доля прогонов без крупной эпидемии.
- Распределения по прогону: среднее $\mathbb{E}[\cdot ]$, дисперсия $\mathrm{Var}[\cdot ]$, коэффициент вариации $CV=\sqrt{\mathrm{Var}}/\mathbb{E}$, доверительные интервалы.
- Меры соответствия симуляции и наблюдений:
- RMSE, MAE по кривым инцидентности.
- Сложностные / вероятностные меры: лог‑правдоподобие наблюдений при заданной наблюдательной модели, CRPS или Brier для прогнозов.
- Оценки $R_t$ (постфактум) и сравнение с истинным $R_t=\beta (t)S(t)/N$.
- Калибровка/покрытие:
- Posterior predictive checks (если выполняется байесовская калибровка): частота попадания реальных точек в предсказанные интервалы (coverage).
- PIT / reliability plots для вероятностных прогнозов.
4) Анализы чувствительности и вариабельности
- Локальная чувствительность: менять по одному параметру (one‑at‑a‑time) и смотреть чувствительность ключевых статистик.
- Глобальный анализ чувствительности: Sobol‑индексы или Morris для вклада параметров в дисперсию выходов.
- Идентифицируемость/восстановление параметров:
- «Проверка восстановления»: сгенерировать синтетические данные с известными параметрами, затем пытаться их восстановить через inference (ABC, particle filter, MCMC). Оценить bias и ширину постериорных распределений.
- Чувствительность к наблюдательному шуму: варьировать уровень недоучёта $p$, тип шумовой модели (Пуассон vs NegBin), задержки.
- Чувствительность к начальным условиям и случайности: изучать распределения выходов при малых $N$ и для разных началов.
5) Сравнение с реальными данными и интерпретация расхождений
- Подготовка: привести наблюдения к той же форме, что и симуляции (учесть подотчётность, задержки, тестирование).
- Подходы сравнения:
- Калибровка параметров к данным (MLE/BAyesian) и последующий posterior predictive check.
- Сравнение ключевых статистик: согласуются ли $t_{peak},I_{\max },AR,r$ внутри доверительных интервалов симуляции?
- Возможные типы расхождений и интерпретация:
- Ранний рост (r) не совпадает → неверно $R_0$ или контактная скорость: нужно пересмотреть $\beta$ или структуру контактов.
- Пик смещён по времени (раньше/позже) → нелинейные задержки, неполное моделирование поведенческих изменений, неверные инерционные/латентные периоды.
- Пик по величине отличается, но итоговый AR сходится → проблемы с динамикой передачи в разгар эпидемии (гетерогенность контактов, асимптомные/невидимые случаи).
- Низкая вариабельность в модели, но высокая в данных → модель недооценивает стохастичность или пропустила источники вариации (импорт, кластерные вспышки).
- Модель предсказывает слишком много крупного исхода (или наоборот) → неверная дисперсия вторичных случаев (надо настроить overdispersion $k$) или неверные меры интервенций.
- Систематический лаг/фазовый сдвиг → ошибки в наблюдательной модели (задержки тестирования/сообщения).
- Действия по устранению несоответствий:
- Проверить и уточнить наблюдательную модель (подотчётность $p(t)$, задержки).
- Доработать структуру контактов (возрастные матрицы, пространственная структура).
- Ввести гетерогенность (вариация ${\beta }_i,{\gamma }_i$, overdispersion).
- Повторить восстановление параметров на синтетических данных, чтобы понять неидентифицируемые комбинации параметров.
- При необходимости собрать дополнительные данных: серопробы (итоговый AR), опросы контактов, геномные цепочки (для реконструкции передач).
6) Практические рекомендации по эксперименту
- Для каждого сценария запускать достаточно реплик $M$ чтобы устойчиво оценивать квантили (если ресурсы ограничены — фокусироваться на критических точках сетки параметров, например $R_0\approx 1$ и $R_0$ высокого риска).
- Хранить полные траектории нескольких случайных прогонов (для диагностики), а также агрегированные статистики.
- Автоматизировать отчёты: графики медиана+интервалы для $I(t),C(t)$, таблицы по $t_{peak},I_{\max },AR$, матрицы чувствительности.
- Проводить recovery‑тесты (synthetic truth) перед аппробацией на реальных данных.
Короткая сводка метрик/формул (использовать при анализе):
- $R_0=\beta /\gamma$.
- Начальный рост: $I(t)\approx I_0{e}^{rt}$, при $S_0\approx N$ $r\approx \beta -\gamma$.
- Удвоение: $T_d=\ln 2/r$.
- Итоговый атакующий риск: $AR=R(\infty )/N$.
- Пиковая нагрузка: $I_{\max }={\max }_{t}I(t)$.
- Оценки согласия: RMSE, MAE, CRPS, coverage (доля точек внутри предсказанных CI).
Эта схема даёт системный набор тестов: от контрольного совпадения с теоретическим SIR до проверки устойчивости к стохастике, структуре контактов и наблюдательному шуму; расхождения интерпретируются через конкретные гипотезы (параметры, структура, наблюдение) и проверяются дополнительными recovery‑тестами и сбором вспомогательных данных.