Ниже — компактный обзор распространённых точечных оценок и доверительных интервалов для $\mu$ и ${\sigma }^2$, их свойства (смещённость, состоятельность, эффективность) и влияние предположений о модели.
1) Точечные оценки для $\mu$ - Выборка и среднее:
- $\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$.
- Смещённость: $\bar{X}$ — несмещённая оценка $\mu$.
- Состоятельность: $\bar{X}\stackrel{p}{\to }\mu$ при $\mathrm{Var}(X_i)<\infty$.
- Эффективность: при нормальности $\bar{X}$ — UMVUE и достигает С-R границы; в общем асимптотически эффективна (CLT): $\sqrt{n}(\bar{X}-\mu ){\to }_{d}N(0,{\sigma }^2)$.
- Минусы: чувствительна к выбросам.
- Медиана и усечённое среднее (robust):
- Медиана $\tilde{X}$ и усечённое среднее (trimmed mean) более робастны при выбросах.
- Смещённость: при симметричных распределениях несмещены (асимпотически).
- Состоятельность: да (при стандартных условиях).
- Эффективность: при нормальности медиана имеет меньшую асимптотическую эффективность (ок. $64\%$ эффективности по сравнению со средним); усечённое среднее даёт компромисс.
2) Точечные оценки для ${\sigma }^2$ - Несмещённая выборочная дисперсия:
- $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$.
- Смещённость: несмещённая.
- Состоятельность: $S^2\stackrel{p}{\to }{\sigma }^2$.
- Эффективность: при нормальности $S^2$ — UMVUE (минимальная дисперсия среди несмещённых).
- MLE для ${\sigma }^2$ (при нормальности):
- ${\hat{\sigma }}_{MLE}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{n-1}{n}{S}^2$.
- Смещённость: смещён вниз (на фактор $(n-1)/n$).
- Часто имеет меньшую дисперсию и меньший MSE по сравнению с несмещённой оценкой при малых $n$ (т.е. компромисс смещение/дисперсия).
- Состоятельность: да.
- Робастные оценки масштаба:
- MAD: $\mathrm{MAD}=\mathrm{median}(|X_i-\mathrm{median}(X)|)$, поправка для нормальности: $1.4826\cdot \mathrm{MAD}$.
- Робастны при выбросах; менее эффективны при нормальности.
3) Доверительные интервалы для $\mu$ - При нормальности (точно, $\sigma$ не известно):
- $100(1-\alpha )\%$ CI: $\bar{X}\pm t_{1-\alpha /2,n-1}\frac{S}{\sqrt{n}}$.
- Точный (основан на $t$-распределении), оптимален при нормальности.
- Большая выборка (CLT, $\sigma$ неизвестно):
- $\bar{X}\pm z_{1-\alpha /2}\frac{S}{\sqrt{n}}$.
- Асимптотически корректен при $\mathrm{Var}(X_i)<\infty$.
- Непараметрические/робастные:
- Бутстрэп (перцентильный или t- бутстрэп) даёт доверительные интервалы без строгой нормальности.
- Интервалы по медиане или усечённому среднему при тяжёлых хвостах.
- Консервативный (Чебышёв):
- $\mathrm{Pr}(|\bar{X}-\mu |\le \epsilon )\ge 1-\frac{{\sigma }^2}{n{\epsilon }^2}$ (основано на неравенстве Чебышёва) — очень широкие интервалы.
4) Доверительные интервалы для ${\sigma }^2$ - При нормальности (точно):
- $\left(\frac{(n-1)S^2}{{\chi }_{1-\alpha /2,n-1}^2},\frac{(n-1)S^2}{{\chi }_{\alpha /2,n-1}^2}\right)$.
- Точный, эффективный при нормальности.
- При больших $n$:
- Асимптотический CI через нормализацию $\sqrt{n}(S^2-{\sigma }^2){\to }_{d}N(0,2{\sigma }^4)$: даёт приближённый интервал.
- Бутстрэп часто предпочтителен при отклонениях от нормальности.
5) Сравнение по критериям
- Смещённость:
- $\bar{X}$, $S^2$ — несмещённые; ${\hat{\sigma }}_{MLE}^2$ — смещён.
- Состоятельность:
- Все перечисленные стандартные оценки ($\bar{X}$, медиана, $S^2$, MLE) — состоятельны при конечной дисперсии (для масштаба дополнительно требуется четвёртый момент для некоторых асимптотик).
- Эффективность:
- При нормальности $\bar{X}$ и $S^2$ оптимальны (UMVUE, минимальная дисперсия среди несмещённых). Медиана/робастные оценки менее эффективны при нормальности, но более устойчивы при выборе модели с тяжёлыми хвостами.
- Асимптотически многие оценки имеют нормальное распределение; эффективная оценка минимизирует асимптотическую дисперсию.
6) Влияние выбора модели распределения и практические рекомендации
- Если нормально распределены (или это правдоподобно при маленьком $n$):
- Использовать $\bar{X}$, $S^2$; доверительные интервалы на основе $t$- и ${\chi }^2$-распределений (точные и эффективные).
- Если $n$ велико (CLT применим) и $\mathrm{Var}(X)<\infty$:
- Можно использовать среднее и асимптотические нормальные интервалы; бутстрэп — надёжная альтернатива.
- Если возможны выбросы или тяжёлые хвосты:
- Рассмотреть медиану/усечённое среднее и робастные оценки масштаба (MAD); применять бутстрэп для CI.
- Если дисперсия бесконечна или распределение сильно нестандартное:
- Оценка среднего может быть несостоятельной в смысле CLT; нужно менять критерии (медиана, методы для стабильных распределений).
- Практический совет:
- Для малых выборок и отсутствия уверенности в нормальности — либо проверить нормальность, либо применять робастные методы/бутстрэп, либо явно указать риск некорректности t-/chi2-интервалов.
- Для больших выборок стандартные оценки и асимптотические интервалы обычно достаточны.
Ключевые формулы (суммирую):
- $\bar{X}=\frac{1}{n}\sum X_i$.
- $S^2=\frac{1}{n-1}\sum (X_i-\bar{X}{)}^2$, ${\hat{\sigma }}_{MLE}^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2$.
- CI для $\mu$ при нормальности: $\bar{X}\pm t_{1-\alpha /2,n-1}\frac{S}{\sqrt{n}}$.
- CI для ${\sigma }^2$ при нормальности: $\left(\frac{(n-1)S^2}{{\chi }_{1-\alpha /2,n-1}^2},\frac{(n-1)S^2}{{\chi }_{\alpha /2,n-1}^2}\right)$.
- Асимптотики: $\sqrt{n}(\bar{X}-\mu ){\to }_{d}N(0,{\sigma }^2)$, $\sqrt{n}(S^2-{\sigma }^2){\to }_{d}N(0,2{\sigma }^4)$ (при наличии нужных моментов).
Если нужно, могу привести конкретные формулы бутстрэп-интервалов или сравнить MSE для $S^2$ и ${\hat{\sigma }}_{MLE}^2$ при заданном $n$.