Ниже — учебное задание (несколько упражнений) для практического сравнения частотного и байесовского подходов в обработке экспериментальных данных в физике, с указанием, где и почему результаты заметно различаются, и как их интерпретировать. Вся математика в KaTeX.
Упражнение 1 — счётчики: поиск сигнала на фоне (Poisson)
- Ситуация: наблюдали $n$ событий, ожидаемый фон известен $b$. Параметр интереса — средняя сила сигнала $\mu \ge 0$.
- Модель: вероятность $P(n|\mu )=\mathrm{Pois}(n|\mu +b)=\frac{(\mu +b{)}^n{e}^{-(\mu +b)}}{n!}$.
- Задачи:
1. Для примеров $(a)n=0,b=0.5;(b)n=3,b=3$ постройте:
- частотный 90%-доверительный верхний предел ${\mu }_{90}$ (Neyman-конструкция; сравните с Feldman–Cousins);
- байесовский 90%-доверительный предел с приорами (i) плоская $\pi (\mu )\propto 1$ на $\mu \ge 0$, (ii) Джеффриса $\pi (\mu )\propto 1/\sqrt{\mu +b}$.
2. Сравните численно полученные пределы и объясните отличие.
- На что смотреть: при малых счетах и ненулевом фоне байесовский верхний предел сильно зависит от приора; частотный предел обеспечивает покрытие, но может давать "неинтуитивные" результаты при $n<b$. Feldman–Cousins устраняет «flip‑flop» между двухсторонними и односторонними интервалами.
Упражнение 2 — оценка среднего с малым числом измерений (Gaussian)
- Ситуация: измеряли величину $x$ $N$ раз, модель $x_i\sim \mathcal{N}(\mu ,{\sigma }^2)$. Рассмотрите случай $N$ мал (например, $N=3$), известна ли $\sigma$ или нет.
- Задачи:
1. Для данных с выборочным средним $\bar{x}$ и выборочной дисперсией $s^2$ постройте:
- частотный доверительный интервал для $\mu$ (t-распределение, если $\sigma$ неизвестна);
- байесовский 95%-доверительный интервал с непараметрическим (неинформативным) приором $\pi (\mu )\propto 1$ и с конъьюгированным нормальным приором $\mu \sim \mathcal{N}({\mu }_0,{\tau }^2)$.
2. Покажите изменение байесовского интервала при разных $\tau$ (сильный/слабый приор).
- На что смотреть: при малых $N$ байесовский интервал чувствителен к приору; частотный интервал основан на выборочной вариативности и обеспечивает указанное покрытие.
Упражнение 3 — биномиальная эффективность (кроме крайних случаев)
- Ситуация: наблюдали $k$ успехов из $N$ испытаний; параметр — вероятность успеха $p\in [0,1]$.
- Модель: $P(k|p)=(\genfrac{}{}{0ex}{}{N}{k})p^k(1-p{)}^{N-k}$.
- Задачи:
1. Для $N=10$ и $k=0,1,9,10$ постройте частотные (Clopper–Pearson) и байесовские 95%-интервалы с приорами (i) плоская $\mathrm{Beta}(1,1)$, (ii) Джеффриса $\mathrm{Beta}(1/2,1/2)$.
2. Объясните поведение интервалов на границах $0$ и $1$.
- На что смотреть: Clopper–Pearson консервативен (покрытие ≥ заявленного); байесовские интервалы с разумным приором дают более «короткие» и интуитивные интервалы, особенно при крайних $k$.
Упражнение 4 — модельный выбор: сигнал vs. нет сигнала
- Ситуация: данные $D$, две модели: $M_0$ (только фон), $M_1$ (фон + сигнал с параметром $\mu$). Фон известен.
- Задачи:
1. Частотный подход: постройте статистику $\lambda =-2\ln \frac{L(M_0)}{L(M_1)}$, оцените p-value и сделайте вывод по порогу.
2. Байесовский подход: вычислите отношение правдоподобий (Bayes factor) $B_{10}=\frac{p(D|M_1)}{p(D|M_0)}$, где $p(D|M_1)=\int L(D|\mu )\pi (\mu )d\mu$.
3. Сравните решения для примеров с малым сигналом и/или большим числе параметров.
- На что смотреть: Bayes factor учитывает «оккамовскую» пенализацию сложных моделей через интегрирование по приору; p-value показывает несовместимость данных с $M_0$ при выбранной статистике, но не даёт прямой вероятности модели.
Упражнение 5 — учет систематических неопределённостей (нюансные параметры)
- Ситуация: фон $b$ не точно известен, имеет измерение $b_0\pm {\sigma }_b$.
- Задачи:
1. В частотном подходе примените профилирование: постройте профилированный likelihood и найдите доверительные интервалы на $\mu$ (профильный метод; профилирование nuisance-параметра).
2. В байесовском подходе маргинализуйте по $b$: используйте априор $\pi (b)\sim \mathcal{N}(b_0,{\sigma }_b^2)$ и найдите постерор $p(\mu |D)=\int p(\mu ,b|D)db$.
3. Сравните результаты и интерпретации.
- На что смотреть: профилирование даёт интервалы, которые можно интерпретировать частотно; маргинализация естественна в байесе и учитывает неопределённость интегрированием. При сильной систематике различия могут быть существенными.
Практические указания
- Для вычислений используйте: аналитические формулы (биномиальная, бета-постериор), численную интеграцию, MCMC (для сложных постериоров) и генерацию псевдоданных для оценки покрытия частотных интервалов.
- Проверяйте покрытие частотных интервалов численными симуляциями: для заданной истинной $\mu$ сгенерируйте много реализаций, постройте интервалы и посчитайте долю, покрывающих истинное значение.
- Сравнивайте длину интервалов, сдвиг оценок, зависимость от приора, устойчивость к систематическим отклонениям.
Краткое резюме: когда различия велики
- Малая статистика (малые $n$, редкие события): байесовские результаты чувствительны к приору; частотные интервалы могут быть консервативны или неинтуитивны.
- Параметры на границе допустимого множества (например, $\mu \ge 0$): частотные методы требуют аккуратной конструкции (Feldman–Cousins); байесовские результаты сильно зависят от приора у границы.
- Наличие неисследованных или сложных nuisance-параметров: различие между профилированием и маргинализацией.
- Выбор моделей/сравнение моделей: Bayes factor и p-value сравнивают разные вещи; байесовский подход автоматически учитывает сложность модели через интеграл по приору.
- Информативные априоры (экспертные знания): байесовский вывод изменится, частотный — нет (размер выборки может нивелировать эффект при большого объёма данных).
Интерпретация выводов
- Частотный доверительный интервал 90%: «процедура, повторяемая многократно, в 90% случаев даст интервал, содержащий истинное значение».
- Байесовский 90%-доверительный (credible) интервал: «при данном априоре вероятность того, что параметр лежит в интервале, равна 90%».
- P-value: мера несовместимости данных с нулевой гипотезой, не даёт вероятности той гипотезы.
- Bayes factor: отношение правдоподобий моделей — прямо соотносится с поддержкой данных в пользу одной модели против другой, но зависит от выбора приоров.
Рекомендации для студентов
- Всегда указывайте использованные приоры и проверяйте чувствительность к ним.
- Делайте симуляции покрытия для частотных методов.
- Для реальных экспериментов сравнивайте оба подхода и объясняйте различия в интерпретациях и практических следствиях.
Полезные формулы (для реализации)
- Poisson likelihood: $L(\mu )=\frac{(\mu +b{)}^n{e}^{-(\mu +b)}}{n!}$.
- Байесовский постерор: $p(\mu |n)\propto L(\mu )\pi (\mu )$.
- Binomial posterior с Beta-приором $\mathrm{Beta}(\alpha ,\beta )$: $p(p|k)\propto p^{k+\alpha -1}(1-p{)}^{N-k+\beta -1}$.
- Bayes factor: $B_{10}=\frac{\int L(D|{\theta }_1,M_1)\pi ({\theta }_1|M_1)d{\theta }_1}{\int L(D|{\theta }_0,M_0)\pi ({\theta }_0|M_0)d{\theta }_0}$.
- Ликелихуд-рациональная статистика: $\lambda =-2\ln \frac{L(M_0)}{L(M_1)}$.
Если нужно, могу подготовить готовые скрипты (Python/NumPy/SciPy) для каждого упражнения и примеры ожидаемых численных результатов.