Кратко и по делу.
Рекомендации по методам
- Малое $n$ (малые выборки, крайние результаты важны):
- Непараметрические / частотные: точный биномиальный интервал Clopper–Pearson, «mid‑p» поправка; непараметрический bootstrap (с осторожностью — при очень малых $n$ bootstrap плохо аппроксимирует распределение краёв).
- Байесовские: использовать сопряжённое семейство Beta. При слабой информации — Jeffreys‑приор $\mathrm{Beta}(1/2,1/2)$ или равномерный $\mathrm{Beta}(1,1)$; при наличии экспертных знаний — информативный $\mathrm{Beta}(a,b)$. Постериор: $\mathrm{Beta}(a+k,b+n-k)$, где $k$ — число орлов.
- Большое $n$ (асимптотика применима):
- Частотные: оценка доли $\hat{p}=k/n$; интервалы по CLT (Wald) $\hat{p}\pm z_{\alpha /2}\sqrt{\hat{p}(1-\hat{p})/n}$ — применяйте с осторожностью; предпочтительнее интервалы Wilson или Agresti–Coull для лучшего покрытия.
- Непараметрический bootstrap лучше работает при большом $n$.
- Байесовские: та же Beta‑постериорa, при большом $n$ постериор приближается нормальным: $\mathrm{E}[p\mid \text{данные}]\approx (a+k)/(a+b+n)$, дисперсия $\approx$ $(\text{mean})(1-\text{mean})/(n+\dots )$; влияние приора мало.
Интерпретация интервалов
- Частотный (доверительный) интервал уровня $1-\alpha$: процедура построения даёт интервалы, которые при повторении эксперимента покрывают истинное $p$ в доле $1-\alpha$ случаев. Нельзя сказать «вероятность, что $p$ в данном интервале равна $1-\alpha$» — либо интервал содержит фиксированное (но неизвестное) $p$, либо нет.
- Байесовский (достоверностный, credible) интервал уровня $1-\alpha$: по определению $\mathrm{Pr}(p\in I\mid \text{данные})=1-\alpha$ относительно постериора. Интервал даёт прямую вероятность для $p$, но она зависит от выбранного приора.
Пример, где подходы дают существенно разные выводы
Пусть $n=1$ и наблюдали $k=0$ орлов (один бросок — решка). Рассмотрим 95%‑интервалы.
- Clopper–Pearson (двусторонний 95%): при $k=0$ нижняя граница $=0$, верхняя решается из $(1-p{)}^n=\alpha$, даёт
$$p_U=1-{\alpha }^{1/n}=1-0.05^{1/1}=0.95,$$ т.е. 95% CI: $(0,0.95)$.
- Байесовский с равномерным приором $\mathrm{Beta}(1,1)$. Постериор $\mathrm{Beta}(1,2)$. 95% верхняя квантиль:
$$p_{0.95}=1-0.05^{1/(n+1)}=1-0.05^{1/2}=1-\sqrt{0.05}\approx 0.7764,$$ т.е. 95% credible interval примерно $(0,0.7764)$.
Разница существенна: частотный интервал допускает $p$ до $0.95$, байесовский (с равномерным приором) — только до $\approx 0.78$. Если бы у вас был информативный приор, верхняя граница могла бы быть ещё ниже. Для больших $n$ такие различия стираются.
Короткий вывод
- При малых $n$ используйте точные частотные методы (Clopper–Pearson, mid‑p) и/или байесовский подход с явно указанным приором (Jeffreys или экспертный). Ожидайте, что выводы (особенно границы интервалов) зависят от выбранного подхода/приора.
- При больших $n$ можно полагаться на асимптотические интервалы (Wilson, bootstrap) или на байесовский постериор с маловлияющим приором — интерпретации останутся разными, но численно результаты сходятся.