Кратко и по сути.
Что значит несмещённая и эффективная оценка
- Несмещённая: оценка $\hat{\theta }(X)$ удовлетворяет ${\mathbb{E}}_{\theta }[\hat{\theta }]=\theta$ для всех $\theta$.
- Эффективная (в смысле Крамера–Рао): несмещённая оценка, достигающая нижнюю границу дисперсии, т.е. для неё выполнено равенство в неравенстве Крамера–Рао.
Критерии и инструменты для выбора оценки
- Прямо проверить несмещённость: вычислить ${\mathbb{E}}_{\theta }[\hat{\theta }]$.
- Минимизация дисперсии среди несмещённых — искать MVUE (минимально дисперсионная несмещённая оценка):
- Применять теорему Райса–Блэкуэлла: если есть любая несмещённая оценка $T_0$, то её улучшение через условное ожидание по достаточной статистике $S$: $\hat{T}=\mathbb{E}[T_0\mid S]$ не хуже по дисперсии.
- Если статистика $S$ достаточна и полна, то $\hat{T}$ — единственный MVUE (Лемманн–Шеффе).
- Мером качества может быть также MSE; тогда допускаются смещённые оценки, и выбор делается по минимизации $\mathrm{MSE}(\hat{\theta })=\mathrm{Var}(\hat{\theta })+(\mathrm{Bias}(\hat{\theta }){)}^2$.
- Практически часто используют MLE: он асимптотически несмещён и асимптотически эффективен (при регулярности).
Роль информации Фишера и неравенство Крамера–Рао
- Для одной наблюдения с плотностью $f(x;\theta )$ информация Фишера определена как
$$I(\theta )={\mathbb{E}}_{\theta }\left[{\left(\frac{\partial }{\partial \theta }\log f(X;\theta )\right)}^2\right].$$ Для iid-выборки размера $n$ информация равна $I_n(\theta )=nI(\theta )$.
- Неравенство Крамера–Рао (при регулярных условиях) для любой несмещённой оценки:
$${\mathrm{Var}}_{\theta }(\hat{\theta })\ge \frac{1}{I_n(\theta )}=\frac{1}{nI(\theta )}.$$ - Следствие: больше $I(\theta )$ $\Rightarrow$ меньшая нижняя граница дисперсии; т.е. чем «информативнее» модель о $\theta$, тем точнее могут быть оценки.
Условия достижения границы и практическое значение
- Условие равенства: существует некоторая функция $a(\theta )$ такая, что почти наверное
$$\frac{\partial }{\partial \theta }\log f(X;\theta )=a(\theta )(\hat{\theta }(X)-\theta ).$$ Это эквивалентно тому, что оценка пропорциональна скору (score). На практике равенство достигается в экспоненциальных семьях при правильно выбранных статистиках (напр., нормальная с известной дисперсией — выборочное среднее).
- МЛО (MLE) при регулярности обладает асимптотическим распределением
$$\sqrt{n}({\hat{\theta }}_{MLE}-\theta )\stackrel{d}{}\mathcal{N}\left(0,\frac{1}{I(\theta )}\right),$$ поэтому асимптотически достигает $\frac{1}{nI(\theta )}$ и считается асимптотически эффективным.
- Если CRLB не достижим (семейство не регулярно или оценка смещённая), применяют другие границы (например, баронкина, Хашимото–Ченга и т.п.) или ищут MVUE через Rao–Blackwell + Lehmann–Scheffé.
Резюме (практические шаги)
1. Найти достаточную статистику; если она полна — искать MVUE через Lehmann–Scheffé.
2. Проверить несмещённость и вычислить дисперсию; сравнить с CRLB: $\mathrm{Var}\ge 1/(nI(\theta ))$.
3. Если MVUE сложна, использовать MLE — он обычно асимптотически эффективен.
4. Учитывать, что большая информация Фишера уменьшает нижнюю границу дисперсии и улучшает точность оценивания.
Если нужно, могу показать пример (конкретная плотность, вычисление $I(\theta )$, CRLB и поиск MVUE/MLE).