Кратко — причины, как диагностировать, и практические способы борьбы.
Причины (теоретически):
- Множественное умножение якобианов при обратном проходе. Для градиента в слое $l$:
$$\frac{\partial L}{\partial x_l}=\left(\prod _{k=l}^{L-1}{W}_{k+1}^{\top }{D}_{k+1}\right)\frac{\partial L}{\partial x_L},$$ где $D_k$ — диагональная матрица производных активаций. Если собственные значения произведения меньше 1, градиент экспоненциально убывает.
- Малые производные активаций: для сигмоиды максимум производной $\le 1/4$, для $\tanh$ — $<1$. Это ускоряет затухание.
- Неподходящая инициализация весов: если дисперсия весов делает спектральный радиус матриц $<1$ (или $\gg 1$), градиенты затухают (или взрываются).
- Глубина сети: чем больше слоев, тем сильнее эффект умножения факторов $<1$.
- Потеря информации из-за насыщения нейронов (saturation) — нейроны «выходят» в регионы с почти нулевой производной.
Диагностика (практически):
- Мониторинг норм градиентов по слоям: вычислить $\Vert {\nabla }_{W_l}L\Vert$ или $\Vert {\nabla }_{x_l}L\Vert$ и построить график по слоям; при затухании значения близки к нулю в ранних слоях.
- Гистограммы градиентов и активаций (TensorBoard): смотреть смещение к нулю или сильную узость распределения.
- Проверка производных активаций (доля нулей для ReLU, среднее производной).
- Проверка спектра якобиана (сингулярные значения) для диагностирования «узких» сингулярных чисел.
- Эксперименты: временный «плоский» градиент при большом learning rate vs постоянное малое — исключить слишком малый lr.
Архитектурные способы борьбы:
- Резидуальные/skip-соединения (ResNet): переход $x_{l+1}=x_l+F(x_l)$ даёт прямой путь для градиента, уменьшая затухание.
- Нормализация слоёв: BatchNorm, LayerNorm, GroupNorm стабилизируют распределения активаций и производных.
- Использовать активации с большей производной: ReLU/LeakyReLU/ELU/SELU вместо сигмоида/$\tanh$ (для SELU — парные требования инициализации).
- Ортотопическая/ортогональная инициализация весов (orthogonal) — сохраняет нормы при обратном проходе.
- Архитектуры с короткими путями (DenseNet, skip connections) — облегчают поток градиента.
Методические и настройочные способы:
- Правильная инициализация:
- Xavier/Glorot для активаций с симметрией: $\mathrm{Var}(W)=\frac{2}{n_{in}+n_{out}}$.
- He (для ReLU): $\mathrm{Var}(W)=\frac{2}{n_{in}}$.
- Orthogonal init для глубоких сетей.
- BatchNorm/LayerNorm встроить перед/после активации.
- Использовать оптимизаторы с адаптивным шагом (Adam, RMSprop) или SGD с momentum; сочетать с корректным lr schedule (warm-up, cosine decay).
- Gradient clipping (для взрывных градиентов): ограничить $\Vert \nabla \Vert \le C$.
- Уменьшение глубины или предобучение (transfer learning) — если невозможно обучить с нуля.
- Специальные методы инициализации/скейлинга для ResNet (FixUp и т.п.) если BatchNorm нежелательна.
- Селективный learning-rate / параметрический skip (Highway Networks) для облегчения обучения ранних слоёв.
- Регулярная проверка «ключевых» метрик: скорость спада training loss, улучшение в валидации, распределение активаций.
Короткая практическая шпаргалка (порядок действий при затухании):
1. Проверить нормы градиентов по слоям.
2. Если нули в ранних слоях — добавить skip/Residual или BatchNorm.
3. Поменять активацию на ReLU/LeakyReLU/ELU; убедиться в He-инициализации.
4. Применить orthogonal init при необходимости.
5. Настроить lr (warm-up) и оптимизатор; при взрыве — clipping.
Эти меры обычно решают проблему затухания градиента в современных сетях для классификации изображений.