Модель: бросают монету до первого орла. Обозначим число выпавших решек (до первого орла) через $X$ (включая возможность $X=0$).
1) Справедливая монета ($p=\frac{1}{2}$, где $p$ — вероятность орла)
- Распределение: $P(X=k)={\left(\frac{1}{2}\right)}^{k+1},k=0,1,2,\dots$.
- Математическое ожидание: $\mathbb{E}X=1$.
- Дисперсия: $\mathrm{Var}(X)=2$.
2) Несправедливая монета (вероятность орла $p\in (0,1)$)
- Геометрическое распределение (количество неудач до первой удачи):
$P(X=k)=(1-p{)}^{k}p,k=0,1,2,\dots .$ - Математическое ожидание: $\mathbb{E}X=\frac{1-p}{p}.$ - Дисперсия: $\mathrm{Var}(X)=\frac{1-p}{p^2}.$
3) Оценивание параметра $p$ (при независимых повторениях эксперимента, наблюдения $X_1,\dots ,X_n$)
- Функция правдоподобия: $L(p)=\prod _{i=1}^{n}p(1-p{)}^{X_i}=p^n(1-p{)}^{\sum X_i}.$ - MLE (и метод моментов совпадает): ${\hat{p}}_{\mathrm{MLE}}=\frac{n}{n+{\sum }_{i=1}^n{X}_i}.$ Этот оцениватель состоятельный и асимптотически нормальный.
- Асимптотическая дисперсия MLE: $\mathrm{Var}({\hat{p}}_{\mathrm{MLE}})\approx \frac{p^2(1-p)}{n}.$ На практике используйте оценку с подстановкой $\hat{p}$ для построения доверительных интервалов: $\hat{p}\pm z_{1-\alpha /2}\sqrt{\frac{{\hat{p}}^2(1-\hat{p})}{n}}.$ - Байесовский подход: при априорe $\mathrm{Beta}(\alpha ,\beta )$ апостериор для $p$ будет $\mathrm{Beta}(\alpha +n,\beta +\sum X_i)$. При непараметрическом равновероятном априоре $\alpha =\beta =1$ апостериорное среднее $\frac{n+1}{n+\sum X_i+2}$.
- Для малых выборок полезны байесовские оценки или бутстрэп; можно также оценивать непосредственно $\mathbb{E}X$ через выборочное среднее $\bar{X}=\frac{1}{n}\sum X_i$ и дисперсию через выборочную дисперсию $s^2$.
Кратко: модель — геометрическая с параметром $p$; для несправедливой монеты формулы заменяются общими выражениями через $p$; для оценки $p$ предпочтительны MLE/метод моментов (совпадают), а при необходимости — байесовский подход или бутстрэп для малых выборок.