Кратко и по сути — основные математические идеи, варианты и практические рекомендации.
1) Постановка и почему градиентный спуск сходится
- Задача: минимизировать функцию потерь $L(\theta )$ по параметрам $\theta$.
- Градиентный шаг (базовый GD): ${\theta }_{t+1}={\theta }_t-\eta \nabla L({\theta }_t)$, где $\eta$ — скорость обучения.
- В выпуклом и $L$-гладком случае (градиент липшицев): если $\eta \in (0,2/L)$, то последовательность сходится к минимуму; при сильной выпуклости с параметром $\mu >0$ даётся линейная сходимость: $\Vert {\theta }_t-{\theta }^{\ast }\Vert \le (1-\eta \mu {)}^t\Vert {\theta }_0-{\theta }^{\ast }\Vert$.
- В стохастическом/неконвексном случае: GD с шумными оценками градиента сходится к стационарным точкам при подходящих условиях на шаги; для SGD стандартное условие на шаги: ${\sum }_t{\eta }_t=\infty ,{\sum }_t{\eta }_t^2<\infty$ (например ${\eta }_t\propto 1/t$). Для неконвексных задач обычно гарантия — сходимость к точкам с нулевым градиентом в смысле средней нормы градиента.
2) Варианты оптимизаторов и когда их использовать
- SGD (mini-batch)
- Обновление: градиент считается на батче, шум обеспечивает стохастичность; можно добавить momentum: $v_{t+1}=\beta v_t+(1-\beta )\nabla L_{batch},{\theta }_{t+1}={\theta }_t-\eta v_{t+1}$.
- Плюсы: прост, хорошо обобщает в больших нейросетях, масштабируется по данным.
- Применение: обучение больших DNN на больших наборах; когда важна хорошая генерализация.
- Adam (адаптивные моменты)
- Формулы: $m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t,v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$, затем коррекция смещения и шаг
${\hat{m}}_t=m_t/(1-{\beta }_1^t),{\hat{v}}_t=v_t/(1-{\beta }_2^t)$,
${\theta }_{t+1}={\theta }_t-\eta \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+\epsilon }.$
- Плюсы: быстрое начальное сходимость, хорошо подходит для разреженных градиентов и разных масштабов признаков.
- Минусы: возможные проблемы с сходимостью/обобщением в длительном обучении (правки: AMSGrad и др.).
- Применение: быстрый прототипинг, задачи с редкими/разными по масштабу градиентами, трансформеры, когда хочется меньшей настройки lr.
- L‑BFGS (квази-Ньютон)
- Идея: аппроксимация обратного гессиана с хранением $m$ векторов (малый объём памяти), использует детерминированный градиент (обычно full-batch).
- Плюсы: быстрое и точное сходство для малых/средних задач и выпуклых или гладких неглубоких моделей.
- Минусы: не масштабируется на очень большие датасеты, чувствителен к шуму в градиенте.
- Применение: логистическая регрессия, малые нейросети, problems где можно вычислять полный градиент.
3) Влияние гиперпараметров и практики
- Скорость обучения ($\eta$)
- Слишком большая $\eta$ → расходимость/колебания; слишком малая → медленная сходимость.
- В выпуклом $L$-гладком случае верхняя граница: $\eta <2/L$.
- Практически: используют расписания (step decay, cosine annealing, warmup) и адаптивные методы. Для SGD с батчем размером $B$ часто применяют правило линейного масштабирования: при увеличении батча пропорционально увеличивают $\eta$.
- Нормализация (preprocessing и нормализация слоёв)
- Нормировка входов (zero mean, unit variance) ускоряет сходимость и делает ландшафт потерь более изотропным.
- BatchNorm: для активации $x$: $\hat{x}=(x-\mu )/\sqrt{{\sigma }^2+\epsilon },y=\gamma \hat{x}+\beta$. Снижает внутреннее смещение распределений, делает оптимизацию стабильнее и позволяет брать большие $\eta$. Альтернативы: LayerNorm, GroupNorm (полезны при малых батчах).
- Нормализация градиентов (gradient clipping) полезна при взрывных градиентах (RNN, большие lr).
- Инициализация весов
- Неправильная инициализация → затухающие/взрывные сигналы или симметрия (все нейроны одинаковы).
- Xavier/Glorot для tanh/sigmoid: распределение с дисперсией $Var=\frac{2}{fa{n}_{in}+fa{n}_{out}}$.
- He для ReLU: $Var=\frac{2}{fa{n}_{in}}$.
- Ортотопическая инициализация (orthogonal) также часто помогает при глубоких сетях.
- Правильная инициализация совместно с нормализацией и подходящим $\eta$ делает обучение стабильным.
4) Практические рекомендации (кратко)
- Большие нейросети на больших данных: SGD/SGD+momentum с адекватным расписанием lr; Adam для быстрого обучения/прототипинга.
- Мелкие/средние задачи или выпуклые/гладкие задачи: L‑BFGS или детерминированные методы.
- Всегда: нормализуйте входы, используйте подходящую инициализацию (Xavier/He), следите за величиной градиента и подбирайте/шифтуйте lr (warmup, decay). Для адаптивных методов контролируйте weight decay отдельно (лучше L2 через параметры, а не через адаптивный множитель).
- Если наблюдаете плохую генерализацию при Adam — попробуйте SGD с momentum и долгим снижением lr.
Если нужно, могу привести короткие формулы для конкретных инициализаций и схем расписаний lr.