Определения (дана выборка пар $(x_i,y_i),i=1\dots n$):
- Популяционная ковариация (неизвестна): $\mathrm{Cov}(X,Y)=\mathbb{E}[(X-{\mu }_X)(Y-{\mu }_Y)]$.
- Оценки ковариации:
- «Смещённая» (MLE для нормальной модели, или частое определение с $1/n$):
$$S_{xy}^{(n)}=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y}),\bar{x}=\frac{1}{n}\sum _i{x}_i.$$ Математ. ожидание: $\mathbb{E}[S_{xy}^{(n)}]=\frac{n-1}{n}\mathrm{Cov}(X,Y)$ (отсюда смещение вниз для конечного $n$).
- «Несмещённая» (классическая выборочная):
$$S_{xy}^{(n-1)}=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y}),$$ и $\mathbb{E}[S_{xy}^{(n-1)}]=\mathrm{Cov}(X,Y)$ при i.i.d. наблюдениях.
Свойства ковариационных оценок:
- Согласованность: обе оценки сходятся к истинной ковариации при $n\to \infty$.
- Смещение: $S_{xy}^{(n)}$ смещена на множитель $(n-1)/n$; $S_{xy}^{(n-1)}$ несмещённа.
- Дисперсия: сложная функция четвёртых моментов; асимптотически порядок $O(1/n)$. При bivariate normal примерно
$$\mathrm{Var}(S_{xy})\sim \frac{1}{n}({\sigma }_X^2{\sigma }_Y^2+\mathrm{Cov}(X,Y{)}^2).$$ - Для выборок малого объёма смещение и дисперсия имеют практическое значение.
Оценки корреляции:
- Пирсон (исходя из выборочных ковариаций):
$$r=\frac{S_{xy}^{(n-1)}}{\sqrt{S_{xx}^{(n-1)}{S}_{yy}^{(n-1)}}},S_{xx}^{(n-1)}=\frac{1}{n-1}\sum (x_i-\bar{x}{)}^2.$$ Свойства: асимптотически нормален (при слабых условиях), но смещён для малого $n$; нет простого несмещённого точечного оценщика для корреляции в общем случае.
- Преобразование Фишера (для интервалов и тестов):
$$z=\mathrm{arctanh}(r)=\frac{1}{2}\ln \frac{1+r}{1-r},$$ приблизительно распределено как $N(\mathrm{arctanh}(\rho ),1/(n-3))$ при условии нормальности/умеренной $n$. Это даёт удобные доверительные интервалы: $\mathrm{arctanh}(r)\pm z_{\alpha /2}\sqrt{1/(n-3)}$, затем обратно через $\tanh$.
- Непараметрические/робастные корреляции:
- Спирмен: корреляция рангов — устойчива к монотонным преобразованиям и выбросам.
- Кендалл ($\tau$) — более робастен и даёт интерпретируемую вероятность согласованности пар; для bivariate normal $\rho =\sin \left(\frac{\pi }{2}\tau \right)$.
- Робастные ковариации/корреляции (M-estimators, biweight, MCD, Winsorized) — при тяжёлых хвостах или выбросах предпочтительны.
Практические критерии выбора метода:
- Если данные близки к нормальным и целью является максимизация правдоподобия (например, оценивание параметров в нормальной модели) — используйте $S_{xy}^{(n)}$ (MLE) для ковариации; для корреляции используйте $r$ и для доверительных интервалов преобразование Фишера.
- Если цель — несмещённая оценка ковариации в классических статистических задачах и $n$ невелик — используйте $S_{xy}^{(n-1)}$ (деление на $n-1$).
- Для корреляции при небольших $n$ ($<30$) учтите сильный малый-байас у $r$; предпочтительны:
- бутстрэп для построения доверительных интервалов и исправления смещения (не требует нормальности),
- или использование преобразования Фишера с поправкой на $n-3$ (если приближённо нормально).
- При наличии выбросов/тяжёлых хвостов или нелинейной монотонной связи — используйте ранговые меры (Spearman, Kendall) или робастные оценки ковариации/корреляции.
- Для высокоразмерных задач (размерность близка к $n$) — используйте регуляризованные/усреднённые (shrinkage) оценки ковариационной матрицы (например Ledoit–Wolf) для улучшения условности и уменьшения ошибки прогноза.
- Если нужна минимизация среднеквадратичной ошибки (MSE), то в маленьких выборках MLE ($1/n$) может дать меньшую MSE несмотря на смещение; выбор между смещением и дисперсией зависит от критерия качества.
Короткие рекомендации:
- Малые n, классическая цель — ковариация: $1/(n-1)$.
- Модельная задача с нормальностью, MLE: $1/n$.
- Корреляция (точечная) — используйте $r$; для доверительных интервалов и тестов — преобразование Фишера; для малого n/не нормальности — бутстрэп или робастные меры (Spearman/Kendall).
- При выбросах/тяжёлых хвостах — робастные оценки или ранговые методы.
Если нужно, могу привести формулы для бутстрэп‑интервалов, робастных оценок (MCD, biweight) или показательные примеры на конкретных данных.