В агент‑ориентированной модели распространения эпидемии симуляции дают разные результаты при тонкой вариации параметров — как оценить устойчивость выводов, провести анализ чувствительности и представить неопределённость результатов для политиков
Коротко и по существу — практическая инструкция для оценки устойчивости, анализа чувствительности и представления неопределённости результатов агент‑ориентированной модели (АОМ). 1) Разделите неопределённости - Эпистемическая (параметры, структура) — неполное знание (например, R0R_0R0, доля бессимптомных). - Алелотропная / стохастическая — случайность реализации модели. Это важно для методов и визуализации. 2) Подготовка: какие параметры и диапазоны - Выберите ключевые выходы (цели): пиковая нагрузка в больницах, суммарные случаи, время пика. - Определите список параметров ppp и обоснованные диапазоны/распределения (экспертно/данные). 3) Учет стохастичности модели - Для каждой настройки параметров делайте mmm повторных прогонов, чтобы оценить среднее и дисперсию выхода. Обычно m=30m=30m=30–100100100 в зависимости от разброса; увеличьте, пока стандартная ошибка среднего не станет приемлемой. - Всего прогонов: Nparam×mN_{\text{param}}\times mNparam×m. 4) Локальный анализ чувствительности (быстро) - Малые вариации около опорной точки: изменяйте по одному параметру на ±5%\pm 5\%±5%–±20%\pm 20\%±20% и смотрите градиенты отклика. - Полезно для интуитивной проверки, но не для нелинейных взаимодействий. 5) Глобальный анализ чувствительности (рекомендуется) - Morris (screening): для большого числа параметров, вычисляет средние абсолютные эффекты и нелинейность. Рекомендуемые настройки: уровней сетки plevels=4p_\text{levels}=4plevels=4, траекторий r=10r=10r=10–303030. - Вариансный (Sobol): даёт разложение дисперсии на вклад параметров и их взаимодействий. Для оценки нужно N(p+2)N(p+2)N(p+2) прогонов при базовом размере NNN, где ppp — число параметров; например, при p=8p=8p=8 и N=1000N=1000N=1000 потребуется 1000(8+2)=10,0001000(8+2)=10{,}0001000(8+2)=10,000 выборок (помножить на mmm — число повторов). - Первый порядок: Si=ViVS_i=\dfrac{V_i}{V}Si=VVi. - Полный порядок: STi=1−V∼iVS_{T_i}=1-\dfrac{V_{\sim i}}{V}STi=1−VV∼i. - Если вычислительная стоимость высока — строьте суррогат (Gaussian Process, Random Forest) по выборке LHS/Sobol и анализируйте его. 6) Выбор стратегии с ограниченным бюджетом - Latin Hypercube Sampling (LHS) или Sobol‑последовательности для выборки пространства параметров. - Постройте суррогат на n∼1000n\sim 1000n∼1000–500050005000 точках (зависит от ppp), потом делайте глобальный анализ на суррогате. 7) Баесовский подход и калибровка - Если есть данные — проводите калибровку (ABC, MCMC, SMC) и получите апостериорное распределение параметров. - Прогнозирование: симулируйте модель для выборок из апостериора — получите распределение результатов (posterior predictive). 8) Представление неопределённости политикам — принципы - Решение‑ориентированность: показывайте вероятности событий важных для решений (пример: "вероятность, что пиковая потребность в ИТЛ > ёмкости = 72%"). - Используйте простые, понятные графики и числа: - Fan/свободнораспространяемые диаграммы (множество траекторий + медиана + 50%/90% интервалы). - Вероятностные пороги: кривые вероятности превышения порога по времени. - Таблицы: медиана и интервалы достоверности (например, медиана и 90% доверительный интервал). - Tornado‑диаграмма или бар‑графики вкладов (Sobol SiS_iSi, STiS_{T_i}STi) для приоритетов вмешательств. - Объясняйте предположения и ограничивающие условия ясно: какие параметры фиксированы, какие диапазоны использованы. 9) Робастность политик (robust decision making) - Оцените политику на ансамбле сценариев/параметров; ищите вмешательства, которые дают приемлемый результат в широком диапазоне (minimax, удовлетворительная доля сценариев). - Покажите trade‑offs: ожидаемая польза vs. риск больших потерь (expected value и expected regret). 10) Дополнительные проверки и коммуникация - Идентифицируемость параметров: проверьте, можно ли по данным оценить параметры (чтобы не «переучиваться»). - Posterior predictive checks: сравните распределения симуляций с реальными данными. - Документируйте: входные распределения, число прогонов, методы и ограничения. - Для каждого ключевого вывода указывайте источник неопределённости (параметры vs. стохастика vs. структура). Короткий рабочий план (с приоритетами) 1. Выбрать ключевые выходы и параметры с диапазонами. 2. Оценить стохастическую дисперсию: выбрать mmm повторов. 3. Провести LHS/Sobol выборку + «nested» реплики. 4. Сделать Morris для screening, затем Sobol или surrogate+Sobol. 5. При наличии данных — сделать баесовскую калибровку и posterior predictive. 6. Подготовить для политиков: вероятности превышений, медиа́на + 50/90% интервалы, tornado‑диаграммы; пояснить предположения и рекомендации. Если нужно, могу привести шаблон конфигурации экспериментов (размеры N,mN, mN,m), пример визуализаций и список библиотек (SALib, scikit‑optimize, GPflow, emcee, pyABC).
1) Разделите неопределённости
- Эпистемическая (параметры, структура) — неполное знание (например, R0R_0R0 , доля бессимптомных).
- Алелотропная / стохастическая — случайность реализации модели.
Это важно для методов и визуализации.
2) Подготовка: какие параметры и диапазоны
- Выберите ключевые выходы (цели): пиковая нагрузка в больницах, суммарные случаи, время пика.
- Определите список параметров ppp и обоснованные диапазоны/распределения (экспертно/данные).
3) Учет стохастичности модели
- Для каждой настройки параметров делайте mmm повторных прогонов, чтобы оценить среднее и дисперсию выхода. Обычно m=30m=30m=30–100100100 в зависимости от разброса; увеличьте, пока стандартная ошибка среднего не станет приемлемой.
- Всего прогонов: Nparam×mN_{\text{param}}\times mNparam ×m.
4) Локальный анализ чувствительности (быстро)
- Малые вариации около опорной точки: изменяйте по одному параметру на ±5%\pm 5\%±5%–±20%\pm 20\%±20% и смотрите градиенты отклика.
- Полезно для интуитивной проверки, но не для нелинейных взаимодействий.
5) Глобальный анализ чувствительности (рекомендуется)
- Morris (screening): для большого числа параметров, вычисляет средние абсолютные эффекты и нелинейность. Рекомендуемые настройки: уровней сетки plevels=4p_\text{levels}=4plevels =4, траекторий r=10r=10r=10–303030.
- Вариансный (Sobol): даёт разложение дисперсии на вклад параметров и их взаимодействий. Для оценки нужно N(p+2)N(p+2)N(p+2) прогонов при базовом размере NNN, где ppp — число параметров; например, при p=8p=8p=8 и N=1000N=1000N=1000 потребуется 1000(8+2)=10,0001000(8+2)=10{,}0001000(8+2)=10,000 выборок (помножить на mmm — число повторов).
- Первый порядок: Si=ViVS_i=\dfrac{V_i}{V}Si =VVi .
- Полный порядок: STi=1−V∼iVS_{T_i}=1-\dfrac{V_{\sim i}}{V}STi =1−VV∼i .
- Если вычислительная стоимость высока — строьте суррогат (Gaussian Process, Random Forest) по выборке LHS/Sobol и анализируйте его.
6) Выбор стратегии с ограниченным бюджетом
- Latin Hypercube Sampling (LHS) или Sobol‑последовательности для выборки пространства параметров.
- Постройте суррогат на n∼1000n\sim 1000n∼1000–500050005000 точках (зависит от ppp), потом делайте глобальный анализ на суррогате.
7) Баесовский подход и калибровка
- Если есть данные — проводите калибровку (ABC, MCMC, SMC) и получите апостериорное распределение параметров.
- Прогнозирование: симулируйте модель для выборок из апостериора — получите распределение результатов (posterior predictive).
8) Представление неопределённости политикам — принципы
- Решение‑ориентированность: показывайте вероятности событий важных для решений (пример: "вероятность, что пиковая потребность в ИТЛ > ёмкости = 72%").
- Используйте простые, понятные графики и числа:
- Fan/свободнораспространяемые диаграммы (множество траекторий + медиана + 50%/90% интервалы).
- Вероятностные пороги: кривые вероятности превышения порога по времени.
- Таблицы: медиана и интервалы достоверности (например, медиана и 90% доверительный интервал).
- Tornado‑диаграмма или бар‑графики вкладов (Sobol SiS_iSi , STiS_{T_i}STi ) для приоритетов вмешательств.
- Объясняйте предположения и ограничивающие условия ясно: какие параметры фиксированы, какие диапазоны использованы.
9) Робастность политик (robust decision making)
- Оцените политику на ансамбле сценариев/параметров; ищите вмешательства, которые дают приемлемый результат в широком диапазоне (minimax, удовлетворительная доля сценариев).
- Покажите trade‑offs: ожидаемая польза vs. риск больших потерь (expected value и expected regret).
10) Дополнительные проверки и коммуникация
- Идентифицируемость параметров: проверьте, можно ли по данным оценить параметры (чтобы не «переучиваться»).
- Posterior predictive checks: сравните распределения симуляций с реальными данными.
- Документируйте: входные распределения, число прогонов, методы и ограничения.
- Для каждого ключевого вывода указывайте источник неопределённости (параметры vs. стохастика vs. структура).
Короткий рабочий план (с приоритетами)
1. Выбрать ключевые выходы и параметры с диапазонами.
2. Оценить стохастическую дисперсию: выбрать mmm повторов.
3. Провести LHS/Sobol выборку + «nested» реплики.
4. Сделать Morris для screening, затем Sobol или surrogate+Sobol.
5. При наличии данных — сделать баесовскую калибровку и posterior predictive.
6. Подготовить для политиков: вероятности превышений, медиа́на + 50/90% интервалы, tornado‑диаграммы; пояснить предположения и рекомендации.
Если нужно, могу привести шаблон конфигурации экспериментов (размеры N,mN, mN,m), пример визуализаций и список библиотек (SALib, scikit‑optimize, GPflow, emcee, pyABC).