Кратко: цель — уменьшить дисперсию модели (variance) без существенного роста смещения (bias). Ниже — конкретные приёмы по трём направлениям и их компромиссы.
Регуляризация (явная)
- L2 (weight decay): добавить в функцию потерь $L=L_0+\lambda {\sum }_i{w}_i^2$. Рекомендация: $\lambda \sim 10^{-4}$–$10^{-2}$. Компромисс: уменьшает веса (меньше переобучение), может привести к недообучению при слишком большом $\lambda$.
- L1 (разрежение): $L=L_0+\lambda {\sum }_i|w_i|$. Поддерживает разреженные веса; полезно для отбора признаков. Компромисс: решает интерпретируемость, но может ухудшать предсказательную способность при сложных признаках.
- Dropout: на слоях скрытых нейронов случайно отключать долю $p$ нейронов (например, $p=$ $0.2$–$0.5$). Компромисс: хорош для крупных сетей, повышает устойчивость, замедляет сходимость и требует коррекции масштаба/lr.
- BatchNorm / LayerNorm: нормализация активаций стабилизирует и имеет небольшой регуляризирующий эффект. Компромисс: добавляет вычисления и может мешать при очень маленьких батчах.
- Max‑norm: ограничение норма весов $\Vert w{\Vert }_2\le c$. Компромисс: простая и эффективная, но требует подбора $c$.
- Label smoothing: целевые метки заменяются на $y_{smooth}=(1-ϵ)y+ϵ/K$ (K — число классов, $ϵ$ часто $0.1$). Компромисс: снижает переуверенность модели, иногда снижает максимальную точность.
- Early stopping: сохранять модель с лучшей валидацией (стоп после $patience$ эпох без улучшения, например $patience=$ $5$–$10$). Компромисс: прост, но может остановить до оптимума для теста при шумной валидации.
Изменения архитектуры и параметров модели
- Уменьшить размер модели (меньше слоёв/нейронов): снижает variance, риск недообучения — проверить по обучающему loss. Компромисс: возможная потеря представительной силы.
- Дать регуляризацию через критерии архитектуры: использовать свёрточные/рекуррентные блоки с меньшим числом параметров, параметрическое разделение (weight tying). Компромисс: сложнее проектировать, может требовать переобучения гиперпараметров.
- Pruning / Sparsification: удалить малозначимые веса после обучения. Компромисс: сначала учишь большую модель, затем сокращаешь — вычислительно накладно.
- Ensembles vs. Distillation: ансамбли (bagging) уменьшают variance, но требуют ресурсов; затем можно делать distillation в компактную модель. Компромисс: вычислительная стоимость vs. качество.
Изменения данных и процедур обучения
- Увеличить объём данных: собрать больше размеченных примеров. Компромисс: дорого/долго, лучший и самый стабильный эффект.
- Data augmentation: геометрические трансформации, шум, color jitter, Cutout, CutMix, Mixup. Mixup: $\tilde{x}=\lambda x_i+(1-\lambda )x_j,\tilde{y}=\lambda y_i+(1-\lambda )y_j$, $\lambda \sim \mathrm{Beta}(\alpha ,\alpha )$ (обычно $\alpha =$ $0.2$–$0.4$). CutMix: смешивание по участкам изображения. Компромисс: уменьшает переобучение; риск введения нереалистичных примеров, если аугментация плоха.
- Semi‑/self‑supervised learning и pseudo‑labeling: использовать неразмеченные данные. Компромисс: требует дополнительной инженерии и контроля качества псевдо меток.
- Cross‑validation (k‑fold): стабильная оценка, помогает выбрать регуляризацию. Компромисс: умножает время обучения $k$ раз.
- Learning‑rate schedule и регуляризация обучения: уменьшение lr, cosine/step schedules, gradient clipping. Компромисс: влияет на скорость сходимости и финальное качество.
- Balanced batching / class reweighting: при несбалансированных классах.
Конкретные комбинации и практические советы
- Начать с: добавить L2 ($\lambda \approx 10^{-4}$), dropout $p=$ $0.2$–$0.5$ на полносвязных слоях, сильную аугментацию, early stopping ($patience=$ $5$–$10$). Мониторить train/val gap.
- Если модель всё ещё переобучает: уменьшить архитектуру (меньше нейронов/слоёв) или увеличить регуляризацию ($\lambda$ или $p$); рассмотреть Mixup/CutMix.
- Если началось недообучение (обучающая ошибка выросла): вернуть часть мощности модели, уменьшить $\lambda$ или $p$, увеличить количество эпох/данных.
Коротко о компромиссах (сводно)
- Более сильная регуляризация → меньше variance, но больше bias (риск недообучения).
- Увеличение данных/аугментации → лучший итог, но дороже/требует настройки.
- Уменьшение модели → экономия ресурсов, но ограничение представительной способности.
- Ансамбли → улучшение качества за счёт вычислений; distillation частично компенсирует.
Используйте валидацию и простые ablation‑тесты: пробуйте по одному изменению, фиксируйте эффекты на валидации.