Коротко — с формулами и практикой.
Что такое bias–variance tradeoff
- Формула для ожидаемой квадратичной ошибки в точке $x$:
$${\mathbb{E}}_{\mathcal{D},\epsilon }[(y-\hat{f}(x){)}^2]=(\text{Bias}[\hat{f}(x)]{)}^2+\text{Var}[\hat{f}(x)]+{\sigma }^2,$$ где ${\sigma }^2$ — нерепродуцируемая (irreducible) ошибка шума.
- Смещения и дисперсия:
$$\text{Bias}[\hat{f}(x)]={\mathbb{E}}_{\mathcal{D}}[\hat{f}(x)]-f(x),\text{Var}[\hat{f}(x)]={\mathbb{E}}_{\mathcal{D}}[(\hat{f}(x)-{\mathbb{E}}_{\mathcal{D}}[\hat{f}(x)]{)}^2].$$ - Интерпретация: большой bias → модель слишком простая (underfit); большая variance → модель слишком гибкая чувствительна к обучающим данным (overfit). Цель — минимизировать сумму bias^2 + variance.
Техники управления (коротко, с целью уменьшить bias или variance)
- Управление сложностью модели:
- Увеличить сложность (больше признаков, полиномиальные члены, более глубокие сети) — уменьшает bias, увеличивает variance.
- Уменьшить сложность — уменьшает variance, может увеличить bias.
- Регуляризация:
- L2 (Ridge): штраф $\lambda \Vert w{\Vert }_2^2$ — снижает variance.
- L1 (Lasso): штраф $\lambda \Vert w{\Vert }_1$ — регуляризация + отброс признаков.
- ElasticNet — комбинированно.
- Ансамбли:
- Bagging (Random Forest) — уменьшает variance.
- Boosting (Gradient Boosting) — уменьшает bias, может увеличить variance; используйте регуляризацию и раннюю остановку.
- Кросс-валидация:
- Выбор гиперпараметров по валидационной ошибке (k-fold CV) — балансирует bias/variance при подборе комплексов параметров.
- Ранняя остановка (для итеративного обучения) — контролирует переобучение.
- Сбор/увеличение данных:
- Больше данных обычно уменьшает variance.
- Data augmentation для изображений/текста.
- Выбор и трансформация признаков:
- Удаление шумных/коррелированных признаков уменьшает variance; добавление информативных признаков уменьшает bias.
- Байесовский подход:
- Апостериорные распределения и прогнозы усредняют модели, уменьшая variance.
- Оценка через кривые:
- Learning curve (ошибка на train/val по объёму данных) и validation curve (ошибка по параметру сложности) помогают принять решение.
Практический пример (регрессия): выбор модели и настройка гиперпараметров
Сценарий: есть датасет для регрессии, цель — минимизировать MSE.
Шаги:
1. Базовый осмотр:
- Разделить данные на train/validation/test (например 60/20/20) или использовать k-fold CV.
- Построить простую линейную регрессию как baseline.
2. Проверка на under/overfit:
- Вычислить ошибки на train и val.
- Если обе большие и схожи → высокий bias (underfit).
- Если train мала, val значительно больше → высокая variance (overfit).
3. Подбор моделей-кандидатов:
- Простейшая: линейная регрессия (высокий bias, низкая variance).
- Полиномиальная регрессия степени $d$ (увеличивает гибкость).
- Регрессия с регуляризацией (Ridge/Lasso) — гиперпараметр $\lambda$.
- Random Forest / Gradient Boosting — гиперпараметры: число деревьев $n\_estimators$, глубина $max\_depth$, $min\_samples\_leaf$, learning rate (для бустинга).
4. Настройка гиперпараметров (пример для полинома+Ridge):
- Параметры: степень $d\in \{1,2,3,4,5\}$, $\lambda \in \{10^{-4},10^{-3},\dots ,10^2\}$.
- Для каждой пары $(d,\lambda )$ выполнить k-fold CV и вычислить средний MSE на валидации.
- Выбрать $(d^{\ast },{\lambda }^{\ast })$ минимизирующие валидационную ошибку.
5. Диагностика с кривыми:
- Построить validation curve по $d$ и по $\lambda$ — увидеть, где начинается переобучение.
- Построить learning curves (ошибка train/val vs. размер train). Если разрыв большой → стоит собрать больше данных или сильнее регуляризовать/усреднять (ансамбли).
6. Финальная оценка:
- Обучить модель с выбранными гиперпараметрами на объединённом train+val и оценить на test.
- Проверить стабильность (несколько запусков/разбиений).
7. Практические подсказки по гиперпараметрам:
- Если наблюдается high bias: увеличить модельную сложность (увеличить $d$, добавить признаки, использовать более мощный алгоритм).
- Если наблюдается high variance: увеличить регуляризацию ($\lambda \uparrow$), ограничить глубину деревьев, увеличить $min\_samples\_leaf$, использовать bagging/усреднение, собрать больше данных.
- Для градиентного бустинга часто tune: learning rate (мелкий уменьшает variance, требует больше деревьев), max_depth (контролирует variance), n_estimators.
8. Автоматизация поиска:
- Grid search или Random search с CV; Bayesian optimization (Optuna, Hyperopt) для больших пространств.
Краткая шпаргалка по интерпретации ошибок
- Train error ≈ Val error, оба высоки → underfit → увеличить сложность/признаки.
- Train error ≪ Val error → overfit → регуляризовать/уменьшить сложность/собрать данные.
- При сомнении — смотреть learning curves и использовать CV.
Это — суть: измеряйте ошибки, используйте CV и learning/validation curves, регулируйте сложность и регуляризацию, при необходимости применяйте ансамбли или сбор дополнительных данных.