Кратко и по существу — процесс валидации и верификации моделирования климатических систем, источники неопределённости, оценка чувствительности и построение доверительных интервалов.
1) Верификация (проверка кода и численной корректности)
- Цели: убедиться, что модель реализует уравнения правильно и численно устойчива.
- Методы: юнит‑тесты, тесты на аналитических решениях, сравнение с эталонными решениями, сходимость при уменьшении шага по времени/пространству, контроль сохранения консервативных величин.
- Проверки: масштабная проверка на воспроизводимость (bit‑reproducibility) и регрессионные тесты после изменений.
2) Валидация (сравнение с наблюдениями и физическими ожиданиями)
- Сравнение выходов модели с наблюдениями/реанализами по пространственным и временным шкалам.
- Метрики качества (пример):
- Смещение: $\text{bias}=\frac{1}{n}{\sum }_{i=1}^n(f_i-o_i)$.
- RMSE: $\text{RMSE}=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(f_i-o_i{)}^2}$.
- Корреляция Пирсона: $\rho =\frac{\sum (f_i-\bar{f})(o_i-\bar{o})}{\sqrt{\sum (f_i-\bar{f}{)}^2\sum (o_i-\bar{o}{)}^2}}$.
- Навыки для вероятностных прогнозов: Brier score, CRPS, ROC, reliability diagrams.
- Диагностические тесты: вертикальные профили, спектральный состав, энерговодное содержание, климатические тенденции, экстремы.
- Верификация физики: критерии для консервации энергии, баланса радиации и масс.
3) Основные источники неопределённости
- Начальные условия (internal variability): хаотичность климата, влияние малых возмущений.
- Параметрические (parametric) неопределённости: неизвестные или аппроксимированные параметры (в облачных схемах, турбулентности и т.д.).
- Структурная/модельная неопределённость: выбор уравнений, схема параметризации, дискретизация, масштабная аппроксимация.
- Форсинг и сценарии: неопределённость в составах парниковых газов, аэрозолях, вулканических событийах, солнечной активности.
- Наблюдательная неопределённость: ошибки измерений, неоднородность наблюдений, разночтения реанализов.
- Численная неопределённость: аппроксимации, погрешности времени/пространства, стабилизационные параметры.
- Статистическая неопределённость оценок (ограниченный объём данных).
4) Оценка чувствительности модели
- Локальные методы: приближённые производные (finite differences), адъюнктные модели дают градиенты чувствительности к параметрам/начальным условиям.
- Глобальные методы:
- Метод Морриса (screening) — выявляет важные факторы с малой затратой.
- Дисперсионный анализ Sobol: для функции $Y=f(X_1,\dots ,X_k)$ первый порядок и общий эффект:
- первый порядок: $S_i=\frac{{\mathrm{Var}}_{X_i}(\mathbb{E}[Y|X_i])}{\mathrm{Var}(Y)}$,
- полный эффект: $S_{T_i}=1-\frac{{\mathrm{Var}}_{X_{\sim i}}(\mathbb{E}[Y|X_{\sim i}])}{\mathrm{Var}(Y)}$.
- Построение эммуляторов (Gaussian process, polynomial chaos) для быстрого исследования пространства параметров.
- Практика: использовать комбинированный подход — сначала screening, затем Sobol/эмултор для ключевых параметров.
5) Квантование неопределённости и доверительные интервалы прогнозов
- Энсемблирование:
- Начальное условие: создать множество реализаций с малым изменением начальных условий (IC ensembles) для внутренней вариабельности.
- Переменные параметры (perturbed physics) и multi‑model ensembles (MME) для параметрической и структурной неопределённости.
- Сценарные ансамбли для неопределённости форсинга.
- Построение доверительного/предсказательного интервала:
- Для ансамбля из $N$ прогонов оценка среднего и стандартного отклонения:
- $\bar{x}=\frac{1}{N}{\sum }_{i=1}^N{x}_i$,
- $s^2=\frac{1}{N-1}{\sum }_{i=1}^N(x_i-\bar{x}{)}^2$.
- При предположении нормальности доверительный интервал для среднего:
$\bar{x}\pm t_{N-1,\alpha /2}\frac{s}{\sqrt{N}}$.
- Для предсказательного интервала использовать процентильный метод: перцентильная граница $p\%$ и $(100-p)\%$ от эмпирического распределения ансамбля.
- В байесовском подходе получить апостериорное предиктивное распределение:
$p(y^{\ast }|data)=\int p(y^{\ast }|\theta )p(\theta |data)d\theta$,
и взять из него интервалы достоверности (credible intervals).
- Метод бутстрапа для оценки погрешности статистик и доверительных интервалов при небольшой выборке или зависимостях.
- Учет зависимостей между членами ансамбля: корректировать эффективный размер выборки (effective sample size) или использовать блочных/stratified bootstrap.
- Калибровка и пост‑процессинг: калибровка распределения (reliability) через калибрующие модели (например, Bayesian model averaging, quantile mapping) повышают доверие к доверительным интервалам.
6) Оценка качества вероятностных предсказаний
- Надёжность (reliability), разрешающая способность (resolution), острота (sharpness).
- Диагностики: rank histograms, PIT (probability integral transform), Brier score, CRPS.
- Для долгосрочных климатических прогнозов — сравнение распределений (Kolmogorov–Smirnov, Kullback‑Leibler).
7) Практическая последовательность проверки и валидации
1. Верификация кода и численная сходимость.
2. Локальная проверка физических принципов (энергия, масса, баланс).
3. Оценка против наблюдений по ключевым полям и статистикам.
4. Построение и анализ ансамблей для всех типов неопределённости.
5. Глобальная чувствительность (Morris → Sobol → эмултор).
6. Формирование предсказательных распределений (энсембль/байес) и интервалов.
7. Верификация вероятностных прогнозов (reliability, CRPS).
8. Документирование источников неопределённости и ограничений модели.
Короткие рекомендации:
- Для оперативной оценки используйте большие начальные ансамбли + perturbed physics; для полномасштабной UQ — эммуляторы + Sobol + байесовская калибровка.
- Обязательно учитывать наблюдательные ошибки и структурную неопределённость (MME) при представлении доверительных интервалов.
- Проверяйте предположения о независимости и нормальности при применении стандартных формул для CI; при сомнении — использовать непараметрические (percentile, bootstrap) или байесовские методы.
Если нужно, могу дать конкретный пример оценки Sobol‑индексов или показать построение доверительного интервала по эмпирическому ансамблю с кодом/формулами.