Кратко и по пунктам.
Определения:
$S_n^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2,S_{n-1}^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2.$
Смещение:
- Так как $E[{\sum }_{i=1}^n(X_i-\bar{X}{)}^2]=(n-1){\sigma }^2$, то
$E[S_n^2]=\frac{n-1}{n}{\sigma }^2$, т.е. смещение
$\mathrm{Bias}(S_n^2)=-\frac{{\sigma }^2}{n}$.
- $E[S_{n-1}^2]={\sigma }^2$, т.е. $S_{n-1}^2$ несмещённый.
Состоятельность:
- При $E[X^2]<\infty$ оба оценивателя сходятся по вероятности к ${\sigma }^2$:
$S_n^2\stackrel{p}{\to }{\sigma }^2,S_{n-1}^2\stackrel{p}{\to }{\sigma }^2$.
(Дело в том, что $S_n^2=\frac{1}{n}\sum X_i^2-{\bar{X}}^2$, и обе части сходятся.)
Среднеквадратичная ошибка (MSE):
- Общая формула: $\mathrm{MSE}(\hat{\theta })=\mathrm{Var}(\hat{\theta })+\mathrm{Bias}(\hat{\theta }{)}^2$.
- Для общего распределения дисперсия оценивателя зависит от четвёртого центрального момента ${\mu }_4=E[(X-\mu {)}^4]$ (формула громоздкая); важно, что Var уменьшается как $O(1/n)$ при конечной ${\mu }_4$.
- Для нормального распределения (точные простые выражения):
$\mathrm{Var}(S_{n-1}^2)=\frac{2{\sigma }^4}{n-1},$ $\mathrm{Var}(S_n^2)=\frac{2(n-1){\sigma }^4}{n^2}.$ Тогда
$\mathrm{MSE}(S_{n-1}^2)=\frac{2{\sigma }^4}{n-1},$ $\mathrm{MSE}(S_n^2)=\frac{2(n-1){\sigma }^4}{n^2}+\frac{{\sigma }^4}{n^2}={\sigma }^4\frac{2n-1}{n^2}.$ Из этих выражений при $n\ge 2$ следует
$\mathrm{MSE}(S_n^2)<\mathrm{MSE}(S_{n-1}^2)$: MLE (делитель $n$) даёт меньшую MSE при нормальности, хотя и смещён.
Практические рекомендации (когда что предпочесть):
- Используйте $S_{n-1}^2$ (несмещённый):
- при малых выборках и при необходимости несмещённой оценки дисперсии;
- когда строите классические доверительные интервалы и критические статистики (t-тесты, хи-кв. распределение) — стандартные процедуры требуют $S_{n-1}^2$;
- в учебных и статистических отчётах, где важна несмещённость.
- Используйте $S_n^2$ (делитель $n$, MLE):
- в задачах максимального правдоподобия, машинном обучении и при оценке параметров модели (обычно предпочтительна согласованность с ML-подходом);
- когда цель — минимизировать среднеквадратичную ошибку (особенно при нормальности) или когда небольшое смещение несущественно (большие $n$);
- в прикладных/прагматичных задачах с большими выборками, где смещение $-{\sigma }^2/n$ пренебрежимо.
- Дополнительно: для минимизации MSE при нормальности оптимальный множитель перед $\sum (X_i-\bar{X}{)}^2$ равен $\frac{1}{n+1}$ (т.е. немного сильнее «сжать», чем MLE). Это показывает, что иногда разумно использовать смещённые, но менее дисперсионные оценки (shrinkage).
Краткое заключение:
- $S_{n-1}^2$ — несмещённый и стандартный выбор для малых выборок и классической статистики; $S_n^2$ — смещённый, но часто даёт меньшую MSE (особенно при нормальности) и удобен в ML/ML-оцениваемых задачах; при большом $n$ различие практически исчезает.