Коротко: такое поведение — типичный признак переобучения. Общая мера разрыва между ошибками: $\Delta =L_{val}-L_{train}$ — растёт после некоторой эпохи.
Возможные причины (кратко, непересекающиеся и практически все вероятные):
- слишком большая емкость модели (число параметров $P$ существенно больше числа примеров $N$); например $P/N\gg 1$;
- недостаточно данных или недостаточно разнообразные данные (малый $N$);
- шум в метках (label noise) или неправильные метки в части обучающей выборки;
- сдвиг распределений между train/val/test (non-i.i.d.); валид. выборка не репрезентативна;
- классический недостаток регуляризации: отсутствие или слишком слабый weight decay, dropout, batch norm и т. п.;
- агрессивная/неправильная аугментация (или её отсутствие) — модель запоминает особенности тренировочного множества;
- слишком долгое обучение (слишком много эпох) без early stopping;
- неправильная валидация / утечка данных (validation leakage) или утечка информации в процессе тюнинга гиперпараметров;
- неподходящий оптимизатор/шедулер (например, оптимизация, дающая сильную подгонку, или слишком маленькая/постоянная скорость обучения без регуляризующего эффекта schedule);
- дисбаланс классов и/или несбалансированный loss;
- малый batch size в сочетании с отсутствием других форм регуляризации (или наоборот — экстренно большой batch size может ухудшать обобщение);
- архитектурные артефакты: слишком глубокая сеть без нормализации / skip-connections, слишком большие embedding/width;
- неправильное использование слоёв в режиме eval/train (dropout/batchnorm: поведение на валидации может отличаться, если забыли switch to eval).
Набор конкретных методов по категориям (конкретно, с типичными диапазонами/значениями):
1) Регуляризация
- L2 (weight decay): пробовать $\lambda$ в диапазоне $[10^{-6},10^{-2}]$;
- Dropout: регуляризовать fully-connected/канальные слои с $p\in [0.1,0.5]$;
- Label smoothing: $\alpha \in [0.05,0.2]$;
- Data augmentation: random crop/flip/rotation, color jitter, Cutout, Mixup, CutMix; включать комбинации;
- Mixup параметры: $\alpha \in [0.1,0.4]$;
- Early stopping по $L_{val}$ с терпением (patience) $\in [5,20]$ эпох;
- Batch normalization / Layer normalization корректно везде.
2) Архитектура
- Уменьшить размер/глубину: сократить число слоёв/фильтров (например уменьшить ширину в $2\times$);
- Меньше параметров через parameter sharing или меньшие embedding-размеры;
- Простые архитектуры/меньше capacity как baseline;
- Использовать residual connections, нормализацию, global average pooling вместо FC;
- Пробовать компактные модели (MobileNet, ResNet-18/34 вместо ResNet-50/101).
3) Данные
- Собрать/маркировать больше данных (увеличение $N$);
- Очистить метки (выявить и исправить noisy labels);
- Улучшить валидационный разбиение: стратификация, временные сплиты для временных рядов, holdout test-set, исключить утечку;
- Балансировка классов: oversampling/undersampling, weighted loss;
- Увеличить аугментации, применить контрастивное обучение/самосупервизию для предобучения.
4) Оптимизация и тренировка
- Weight decay как регуляризация (см. выше);
- Оптимизатор: пробовать SGD+momentum (обычно лучше обобщает) vs Adam; MS/AdamW; попробовать смену Optimizer при fine-tune;
- Learning rate schedule: cosine annealing, step decay, ReduceLROnPlateau, циклические LR; тестировать начальные $\eta \in [10^{-4},10^{-1}]$;
- Stochastic Weight Averaging (SWA);
- Gradient clipping, нормализация градиентов;
- Использовать более репрезентативные метрики для ранней остановки (F1/ROC при несбалансированных классах).
Дополнительно: ансамблирование нескольких моделей или distillation (teacher → student) для улучшения обобщения.
Экспериментальный план для выбора оптимальной комбинации (конкретно, воспроизводимо, по шагам):
1. Определить метрику качества на валидации и финальный holdout test-set, зафиксировать seed'ы и протокол (train/val/test). Всегда держать тест-сет в сторонке.
2. Базовый прогон: обучить текущую модель без изменений, сохранить кривые $L_{train}(e),L_{val}(e)$, вычислить $\Delta$ по последней эпохе и максимум $\Delta$ при росте.
3. Предобработка данных:
- Проверить и очистить метки; если обнаружено >$1\%$ ошибок — исправить и повторить базовый прогон.
- Улучшить разбиение/стратификацию; если использовали неправильный split — исправить.
4. Серия «быстрых» контролируемых экспериментов (один фактор за раз), ограничение по времени/ресурсу:
- Регуляризация: grid/random search по $\lambda \in [10^{-6},10^{-2}]$, dropout $p\in \{0.1,0.2,0.3,0.5\}$, label smoothing $\alpha \in \{0.0,0.05,0.1,0.2\}$. Выполнять по $k$ повторов (обычно $k=3$) для оценки дисперсии.
- Аугментации: сравнить baseline vs наборы (flip+crop, +color jitter, +mixup с $\alpha =0.2$).
- Оптимизатор/шедулер: пробовать SGD+momentum ($\eta \in \{0.01,0.001\}$) vs AdamW; шедулеры: cosine, step.
5. Если угол атаки «регуляризация» дал ограниченный эффект, тестировать архитектуру:
- Урезать модель (меньше каналов/слоёв) и сравнить trade-off accuracy vs $\Delta$.
- Попробовать альтернативную компактную архитектуру (ResNet-18, MobileNet).
6. Использовать автоматический поиск гиперпараметров (random search или Bayesian/HyperOpt) в пределах приоритетных параметров (weight decay, dropout, lr, batch size, augmentation types). Бюджет начать с $\sim 50$ промахов; затем сузить.
7. Для каждого кандидата хранить: кривые $L_{train}(e),L_{val}(e)$, метрики на val и final holdout, и оценку разрыва $\Delta$. Выбирать модели с наилучшим val и малым $\Delta$.
8. Принять решение с учётом стабильности: запуск лучших конфигураций $m$ раз ($m\ge 3$) с разными seed'ами; выбрать ту, что стабильно хорошо на val и holdout.
9. Финальная проверка: обучить выбранную конфигурацию на объединённых train+val (если допустимо), валидация на holdout; документировать все гиперпараметры и тренировки.
10. При ограниченном ресурсе — приоритизация: сначала данные/метки → регуляризация simple (wd, dropout, augment) → optimizer/schedule → архитектура.
Критерии выбора лучшей конфигурации:
- максимизировать целевую метрику на holdout;
- минимизировать $\Delta$ (малый разрыв указывает на лучшее обобщение);
- стабильность результатов при нескольких запусках (низкая дисперсия).
Короткое практическое правило при нехватке времени:
1) Почистить метки и улучшить аугментации.
2) Добавить weight decay ($\lambda \sim 10^{-4}-10^{-3}$) и раннюю остановку (patience $=10$).
3) Перейти на SGD+momentum и косинусный шедулер, уменьшить capacity, если всё ещё растёт $\Delta$.
Если нужно — могу предложить конкретный план экспериментов с табличными наборами гиперпараметров для вашей задачи (указать тип модели, dataset, вычисл. бюджет).