Кратко: если на обучении ошибка близка к $\approx 0$, а на контроле растёт — это классический симптом переобучения (высокая дисперсия). Ниже — возможные причины, конкретные методы их исправления (регуляризация, сбор данных, архитектура) и как оценивать эффективность.
Причины переобучения
- Слишком большая модель (параметров больше, чем нужно) — высокая емкость.
- Недостаточно данных для текущей емкости модели.
- Плохая генерализация из‑за зашумлённых или ошибочных меток.
- Сдвиг распределений train vs val/test (domain shift).
- Отсутствие/некорректная регуляризация или ранняя остановка.
- Имбаланс классов, дата‑утечка в валидации, слишком длинное обучение (overtraining).
Конкретные методы и когда применять
1) Регуляризация (уменьшает дисперсию)
- L2 (weight decay): оптимизировать $\mathcal{L}={\mathcal{L}}_0+\lambda {\sum }_i{w}_i^2$, подбор $\lambda \in [10^{-6},10^{-1}]$.
- L1 для разреживания: $\lambda {\sum }_i|w_i|$.
- Dropout (случайное зануление): использовать вероятность $p$, типично $p\in [0.1,0.5]$.
- Label smoothing: заменить one‑hot на $(1-ϵ,ϵ/(K-1))$ для $ϵ\in [0.05,0.2]$.
- Early stopping: остановка по валидационной метрике с $\text{patience}$ (например $\text{patience}=10$ эпох).
- Data‑independent регуляризаторы: batch norm, spectral norm, gradient clipping.
2) Сбор и аугментация данных
- Увеличить объём данных: реальный сбор, web scraping, активное обучение.
- Data augmentation: трансформации, mixup, CutMix — снижает переобучение на малых данных.
- Синтетические данные / симуляции, генеративные модели.
- Очистка меток: найти и исправить шумные лейблы (label cleaning).
3) Изменения архитектуры и тренировки
- Уменьшить модель: сократить глубину/ширину, уменьшить число фильтров/нейронов.
- Использовать более подходящую архитектуру (индуктивные смещения: CNN для изображений, RNN/Transformer для последовательностей).
- Параметрический контроль: weight sharing, bottleneck слои.
- Применять transfer learning (фиксировать часть слоёв) или заморозить предобученные веса.
- Pruning / distillation для уменьшения избыточности.
- Снижение learning rate, уменьшение числа эпох или менять schedule (cosine/step).
4) Прочие меры
- Балансировка классов (веса потерь, oversampling/undersampling).
- Устранение утечек данных и контроль корректности валидационных наборов.
Как оценивать эффективность изменений
- Learning curves: строить графики train loss и val loss по эпохам; смотреть generalization gap
$\Delta =L_{\text{val}}-L_{\text{train}}$. Если $\Delta$ уменьшается — регуляризация/доп. данные помогают.
- Кросс‑валидация (k‑fold): оценивать среднюю и std метрики по фолдам; уменьшение разброса указывает на повышение устойчивости.
- Learning curve по размеру данных: тренировать на подвыборках разного размера $n$ и смотреть поведение валидации; если валидация улучшается с ростом $n$, нужно больше данных.
- Ablation study: менять по одному фактору (например отключить/включить dropout) и сравнивать метрики.
- Подбор гиперпараметров: grid/random/Bayesian search для $\lambda$, $p$, lr; отслеживать val metric.
- Повторяемость по seed: запускать несколько раз (например $5-10$ с разными random seeds) и смотреть среднее ± стандартное отклонение.
- Финальная проверка на отложенном тесте один раз (не использовать тест для тюнинга).
- Статистическая значимость: bootstrap или t‑test по результатам повторов, если разница мала.
Практическое руководство (коротко)
- Сначала проверьте данные (утечки, метки, распределения).
- Постепенно увеличивайте регуляризацию: L2 $\lambda$, dropout $p$, label smoothing $ϵ$ — контролируйте val loss.
- Делайте learning curve по размеру данных: поймёте, нужно ли больше данных.
- Если модель явно избыточна — уменьшите архитектуру или используйте transfer learning.
- Оценивайте действия с помощью k‑fold и повторов, смотрите уменьшение $\Delta$ и стабильность метрик.
Если нужно — могу предложить конкретный план экспериментов (порядок изменений и диапазоны гиперпараметров) для вашей модели и данных.