Кратко: разрыв 98% (train) vs 62% (val) — явный переобучение. Ниже полный набор практических и теоретических методов (с объяснениями и формулами там, где полезно).
1) Диагностика (что сделать сначала)
- Построить кривые обучения: train/val loss и accuracy по эпохам; смотреть на разрыв.
- Проверить утечку данных (leakage), корректность разбиения (stratified, time-aware).
- Оценить шум в метках (разбор случайных меток, метрики по классам).
2) Изменение архитектуры и ёмкости модели
- Уменьшить ёмкость: сократить число слоёв/нейронов, снизить ширину.
- Применить архитектурные приёмы с меньшими параметрами: depthwise-separable conv, группа conv, bottleneck.
- Параметрические ограничения: weight sharing, компактные блоки (MobileNet, EfficientNet-адаптации).
- Прунинг и квантование после обучения: уменьшат переобучение и уменьшат память.
- Knowledge distillation: обучить небольшой студент по большому ансамблю — часто улучшает обобщение.
3) Регуляризация (формулы)
- Weight decay ($L_2$): добавлять в loss $\lambda {\sum }_i{w}_i^2$.
- L1 регуляризация: $\lambda {\sum }_i|w_i|$ (стимулирует разреженность).
- Dropout: выключение нейронов с вероятностью $p$ во время тренировки.
- Max-norm: ограничивать норму весовых векторов $\Vert w\Vert \le c$.
- Label smoothing: заменить one-hot $y$ на $y_{smooth}=(1-ϵ)y+ϵ/K$.
- Mixup: строить новые пары $(\tilde{x},\tilde{y})=(\lambda x_i+(1-\lambda )x_j,\lambda y_i+(1-\lambda )y_j)$, $\lambda \sim \mathrm{Beta}(\alpha ,\alpha )$.
- Adversarial training (как регуляризатор): добавлять небольшие искажения, устойчивость к ним улучшает обобщение.
- BatchNorm/LayerNorm — стабилизируют обучение (иногда уменьшают потребность в dropout).
4) Подбор гиперпараметров
- Стратегии: grid / random / Bayesian (e.g. TPE) / Hyperband / BOHB.
- Использовать кросс-валидацию или выделенную валидацию (см. ниже) и nested CV для честной оценки.
- Тонкие настройки: скорость обучения (LR), lr-schedule (cosine, cyclical), weight decay $\lambda$, dropout rate $p$, batch size.
- Автоматизированные search с ранней остановкой (Hyperband) экономят ресурсы.
5) Отбор признаков и представление данных
- Удалить нерелевантные/коллинеарные признаки; использовать корреляцию или mutual information.
- Фильтрующие методы: корреляция, ANOVA, mutual info.
- Wrapper: recursive feature elimination (RFE) с моделью.
- Embedded: L1-регуляризация (LASSO) для sparsity.
- Преобразования: нормализация, стандартизация, лог/Box-Cox, категориальные эмбеддинги; PCA/autoencoder для уменьшения размерности.
- Для табличных данных — осторожность с target encoding (risk of leakage) — использовать кросс-валидацию при кодировании.
6) Data augmentation
- Для изображений: случайные кропы, повороты, сдвиги, зеркалирование, цветовые аугментации, Cutout, CutMix, Mixup, AutoAugment.
- Для текста: back-translation, synonym replacement, token deletion, span masking.
- Для табличных данных: SMOTE/ADASYN для классового дисбаланса, добавление гаусс. шума, feature mixup, генерация с GAN/VAE.
- Подбирать аугментации, не меняющие целевой знак; контролировать distribution shift.
7) Валидация и критерии остановки
- Разбиения: hold-out, stratified k-fold, time-series split (если последовательность), nested CV при подборе гиперпараметров.
- Early stopping: остановить, если метрика на валидации не улучшается $p$ эпох (patience); сохранять лучший чекпойнт.
- Мониторить несколько метрик (val loss и целевую метрику).
- Проверять variance по фолдам/семенам; оценивать доверительные интервалы (bootstrap).
- Для временных рядов: использовать скользящую валидацию по времени, не перемешивать.
8) Оценка неопределённости (aleatoric vs epistemic)
- Aleatoric (шум в данных): моделировать через предсказание дисперсии, heteroscedastic loss (для регрессии).
- Epistemic (неопределённость модели): методы
- Deep ensembles: обучить $M$ моделей с разными инициализациями; оценивать средний прогноз и дисперсию.
- MC Dropout: включать dropout на inference, делать $T$ прогонов; предсказание среднее и дисперсия.
- Bayesian NN / Variational Inference: аппроксимировать постериор распределение весов.
- Laplace approximation / SWAG / last-layer Bayesian (быстрее, часто эффективны).
- Практика: ensembles + MC Dropout дают хорошие эмпирические результаты.
9) Калибровка вероятностных прогнозов
- Метрики калибровки: NLL (log loss), Brier score, Expected Calibration Error (ECE): ECE=∑m=1M∣Bm∣n∣acc(Bm)−conf(Bm)∣\mathrm{ECE} = \sum_{m=1}^M \frac{|B_m|}{n} \big|\mathrm{acc}(B_m) - \mathrm{conf}(B_m)\big|ECE=∑m=1M n∣Bm ∣ acc(Bm )−conf(Bm ) .
- Визуально: reliability diagram (confidence vs accuracy).
- Методы:
- Temperature scaling: найти $T$ на валидации, оптимизируя NLL, шкалировать logits: ${\hat{p}}_i=\mathrm{softmax}(z_i/T)$.
- Platt scaling (логистическая регрессия на logits), vector scaling, Dirichlet scaling.
- Isotonic regression (непараметрическая) — риск переобучения если мало данных.
- После калибровки проверять на отдельном test set.
10) Оценка обобщения и статистическая проверка
- Использовать отдельный test set (невидимый при подборе гиперпараметров).
- Оценивать разброс по разным random seeds и фолдам; строить CI (bootstrap).
- Тесты значимости между моделями (paired t-test, bootstrap) при сравнении.
11) Практические рецепты (порядок действий)
1. Проверить данные и разбиения; исправить leakage/шум.
2. Простые регуляризаторы: weight decay ($\lambda$), dropout, label smoothing.
3. Добавить адекватную аугментацию.
4. Уменьшить ёмкость модели, если необходимо.
5. Подбор гиперпараметров через CV / Bayesian search + early stopping.
6. Если нужно больше стабильности: ensembles или SWAG.
7. Калибровать вероятности (temperature scaling) и оценить ECE/NLL/Brier.
8. Отчёт: learning curves, reliability diagram, CI для метрик.
12) Теоретические подходы (кратко)
- Контроль сложности: VC-dimension, Rademacher complexity, PAC-бос пакеты; цель — снизить capacity или регуляризовать, чтобы уменьшить upper bound на generalization error.
- Bias–variance tradeoff: уменьшение variance через регуляризацию/более простые модели/ensembles.
- Общие границы: регуляризация эквивалентна введению априорного распределения (Bayesian view).
13) Конкретные практические параметры и пороги (пример)
- Patience для early stopping: $p\in [5,20]$ в зависимости от dataset/скорости обучения.
- Dropout: $p\in [0.1,0.5]$ для dense, меньше для conv.
- Weight decay: начать с $\lambda \in [10^{-5},10^{-3}]$.
- Для mixup: $\alpha \in [0.1,0.4]$.
Заключение: начинайте с простых мер (проверка данных, уменьшение утечек, регуляризация, аугментация, early stopping), затем переходите к более сложным (ensembles, Bayesian методы, калибровка). Всегда держите отдельный test set для окончательной проверки и измеряйте неопределённость и калибровку прогнозов.