Ниже — список возможных причин стагнации функции потерь и конкретный план проверки с измеряемыми метриками.
1) Проблемы с данными
- Причины: неправильные метки, дубликаты, сильный дисбаланс классов, смещение распределений (train vs val), выбросы, недостающие признаки.
- План проверки:
- Overfit tiny train: обучить на малой выборке $N=$ 100–1000 примеров; ожидаемое поведение — потеря стремится к очень малой величине. Метрика: train loss на малой выборке $\to$ близко к $0$.
- Качество меток: вычислить долю конфликтующих одинаковых входов с разными метками. Метрика: $\text{label\_noise\_rate}=\frac{\#\text{conflicts}}{\#\text{duplicates}}$.
- Дубликаты/пересечения: подсчитать Jaccard/unique ratio. Метрика: $\frac{\#\text{unique}}{\#\text{total}}$.
- Дисбаланс: class frequencies; метрики: ${\text{freq}}_i$, imbalance ratio $\frac{\max {\text{freq}}_i}{\min {\text{freq}}_i}$.
- Сдвиг распределения: KS-тест или Wasserstein между train/val по ключевым фичам. Метрика: $p$-value KS или $W_1$ (>значительное).
- Выбросы: процент значений > $\mu \pm 3\sigma$ для каждой фичи.
2) Архитектура и инициализация
- Причины: модель слишком мелкая/слишком глубокая, плохая инициализация, умирающие ReLU, отсутствие нормализации.
- План проверки:
- Overfit tiny set (см. выше). Если не overfit — архитектура/инициализация виноваты.
- Активности по слоям: считать среднее и std активаций ${\mu }_a,{\sigma }_a$ и долю нулевых активаций для ReLU: $\text{frac\_zero}=\frac{\#(a==0)}{\#a}$. Проблемный порог: $\text{frac\_zero}>0.5$ для большинства нейронов.
- Нормы весов: $\Vert W_l{\Vert }_2$ по слоям; слишком большие — риск взрыва, слишком малые — затухание.
- Градиенты по слоям: $\Vert {\nabla }_{W_l}L{\Vert }_2$. Если $\Vert \nabla \Vert$ близки к $0$ — затухание; если очень большие — взрыв.
- Проверить инициализацию: сравнить дисперсию выходов с теоретической (Xavier/He).
- Ремедиум (если подтверждено): смена активации на LeakyReLU/ELU, BatchNorm/LayerNorm, инициализация Xavier/He, уменьшение глубины или добавление skip-connections.
3) Оптимизатор и гиперпараметры обучения
- Причины: слишком малый или слишком большой learning rate, неправильная скорость распада, слишком сильный weight decay, неподходящий оптимизатор (моментум не tuned), баги в реализации градиентов.
- План проверки:
- Кривая loss vs epoch и loss vs batch: смотреть наличие plateaus и осцилляций.
- LR-finder: запускать обучение на $10-100$ итераций с экспоненциально растущим $\eta$; метрика: точка минимума loss на графике $\text{loss}(\eta )$.
- Проверить градиенты: норма градиента $\Vert {\nabla }_{\theta }L{\Vert }_2$ по итерациям; метрики: среднее и медиана; частые значения $\approx 0$ или очень большие.
- Проверить weight decay: отслеживать $\Vert W{\Vert }_2$ при обучении; сильный decay приведёт к уменьшению нормы и к высокой bias.
- Попробовать сменить оптимизатор: Adam ↔ SGD+momentum; метрики сравнения: скорость снижения train loss за $T$ шагов.
- Проверить clip градиентов: есть ли clipping, значение порога $g_{\max }$.
- Проверить batch size: сравнить $\text{loss}$ и $\Vert \nabla \Vert$ при разных batch size; метрика — скорость уменьшения loss и шума градиента.
4) Масштаб и корреляции признаков
- Причины: несбалансированный масштаб признаков (очень большие/малые), высокая корреляция/коллинеарность, плохая обусловленность матрицы признаков.
- План проверки:
- Статистика по фичам: ${\mu }_j,{\sigma }_j$ для каждой фичи; метрика: процент фич с ${\sigma }_j<10^{-6}$ или ${\sigma }_j>10^6$.
- Применить нормализацию/стандартизацию: сравнить convergence before/after; метрика — время/эпохи до снижения loss на $\Delta$.
- Оценить обусловленность ковариации: вычислить матрицу $C=X^{\top }X$ и её условное число $\kappa =\frac{{\sigma }_{\max }}{{\sigma }_{\min }}$. Большое $\kappa$ (напр., $>10^6$) указывает на проблемы.
- PCA/TSNE for distribution: процент дисперсии, объяснённой первыми компонентами; метрика: cumulative explained variance.
- При категориальных признаках проверить one-hot vs embeddings; частотность категорий.
5) Регуляризация и переобучение/недообучение
- Причины: слишком сильная регуляризация (weight decay, dropout), агрессивный ранний стоп, batchnorm в eval режиме на train и т.д.
- План проверки:
- Эксперименты с weight decay: сравнить loss при $\lambda \in \{0,10^{-6},10^{-4},10^{-2}\}$. Метрика: train/val loss.
- Dropout: отключить и посмотреть изменение loss.
- BatchNorm режим: убедиться, что в train режиме использует батч-статистики; метрика: divergence между running mean/var и batch mean/var.
6) Погрешности реализации и аппаратные баги
- Причины: баги в даталоадере (shuffling off), неправильное перемешивание лейблов, ошибки в функции потерь, градиенты не применяются, смешение train/val, неправильная кастомная метрика.
- План проверки:
- Проверить детерминированность: одна и та же мини-батч последовательность с shuffling on/off.
- Градиентные проверки: вычислить finite-difference градиенты для небольшой подсети; метрика: max-relative-error между аналитическим и численным градиентом.
- Убедиться в корректности loss: для простых примеров (например лин. регрессия) сравнить аналитическое решение с обучением сети.
- Логи: проверять, что optimizer.step() вызывается и что параметры меняются ($\Delta W\ne 0$).
7) Локальные минимумы/плоский ландшафт и шкала learning rate
- Причины: застряли в плато (saddle point), learning rate слишком мал, шаги не выходят из плато.
- План проверки:
- Измерять curvature: приближённая верхняя собственная величина Гессиана ${\lambda }_{\max }$ (power iteration); если ${\lambda }_{\max }$ очень мала — плато.
- Попробовать увеличить $\eta$ или использовать SGD с шумом (меньший batch size). Метрика: изменение train loss за $k$ шагов.
- Попробовать косвенные методы (cyclical lr, warm restarts) и сравнить loss decrease.
Короткий чек-лист действий (приоритет):
1. Overfit tiny set — если не получается, проблема архитектура/оптимизация/баги.
2. Посчитать градиенты $\Vert {\nabla }_{\theta }L{\Vert }_2$ и долю нулевых активаций $\text{frac\_zero}$.
3. LR-finder и vary $\eta$; сравнить loss($\eta$).
4. Проверить масштабы фичей (${\mu }_j,{\sigma }_j$) и применить стандартизацию.
5. Проверить данные: label noise, class balance, KS/Wasserstein между train/val.
6. Finite-diff градиенты для проверки реализации.
Используйте следующие ключевые метрики для мониторинга:
- Train loss $L_{\text{train}}$ и Val loss $L_{\text{val}}$ по эпохам.
- Accuracy/AUC/MAE/RMSE/ $R^2$ в зависимости от задачи.
- Норма градиента $\Vert {\nabla }_{\theta }L{\Vert }_2$ и её распределение по слоям.
- Нормы весов $\Vert W_l{\Vert }_2$, доля нулевых активаций $\text{frac\_zero}$.
- Condition number $\kappa$ входной ковариации и Wasserstein/KS для сдвига распределений.
- Результат LR-finder: оптимальный диапазон $\eta$.
Этот план даёт последовательность тестов с измеримыми критериями, позволяющих локализовать причину стагнации и выбрать исправление.