Коротко: исследуйте три группы причин — изменение числа апдейтов / скоростей обучения; влияние нормализации/статистики батчей и стохастичности градиентов; взаимодействие с оптимизатором/регуляризацией и аппаратные/параметры обучения. Для каждой — какие метрики смотреть и какие простые эксперименты запускать.
1) Число обновлений / правило масштабирования learning rate
- Почему: при удвоении батча число шагов обновления на эпоху падает в 2× — это замедляет «скорость обучения» в шагах; при этом средний градиент становится менее шумным, что даёт лучшее качество.
- Что проверить:
- Сравнить обучение по шагам, по эпохам и по обработанным примерам (plots: loss vs steps, loss vs epochs, loss vs samples, accuracy vs wall-clock).
- Эксперименты:
1. фиксировать lr и сравнить B и 2B;
2. масштабировать lr линейно: ${\eta }^{\prime }=\eta \cdot \frac{B^{\prime }}{B}$;
3. масштабировать по корню: ${\eta }^{\prime }=\eta \cdot \sqrt{\frac{B^{\prime }}{B}}$;
4. использовать warmup для больших батчей (несколько эпох).
- Метрики: скорость сходимости в шагах, в обработанных примерах, в секундах. Запускать с $\ge 3$ сидов.
2) BatchNorm / статистики батча
- Почему: BatchNorm использует статистики по батчу; при большом B оценки mean/var стабильнее → лучше обобщение и, возможно, другие оптимизационные траектории.
- Что проверить:
- Эксперименты:
1. заменить BatchNorm на GroupNorm/LayerNorm (независимую от размера батча) и сравнить;
2. для маленького батча использовать SyncBatchNorm (синхр. между GPU) или увеличить вирту. батч через accumulation, чтобы восстановить BN-статы;
3. force eval-mode для BN (проверка зависимости от бегущих средних).
- Метрики: распределение running mean/var, variance активаций, валидационная точность.
3) Стохастичность градиента / variance и оптимизатор
- Почему: большой батч уменьшает дисперсию градиента — ведёт к более «плавному» спуску и лучшему минимума, но может потребовать другого lr/momentum. Для оптимизаторов с моментумом effective step может меняться.
- Что проверить:
- Вычислить variance и norm градиента по батчу; оценить noise-scale $G=\frac{\mathrm{Var}(\nabla )}{\Vert \mathbb{E}[\nabla ]{\Vert }^2}$.
- Эксперименты:
1. при тех же гиперпараметрах измерить градиентную дисперсию для B и 2B;
2. подбирать lr/momentum для 2B (включая коррекцию для momentum: ${\eta }_{\text{eff}}=\frac{\eta }{1-m}$);
3. сравнить оптимизаторы (SGD, SGD+momentum, AdamW).
- Метрики: gradient variance, training loss curvature, speed of decrease loss.
4) Регуляризация и weight decay
- Почему: частота применения регуляризации на шаг влияет: при уменьшении числа шагов регуляризация «реже» применяется.
- Что проверить:
- Эксперименты:
1. скорректировать weight decay (например увеличить при больших батчах) и проверить влияние;
2. сравнить L2 как часть оптимизатора (AdamW) и ручную реализацию.
- Метрики: norms весов, train/val gap.
5) Другая стохастичность: аугментация, шффлинг, градиентный клиппинг, mixed precision, nondeterminism
- Почему: большие батчи могут уменьшить влияние аугментации/шумов; аппаратные режимы (AMP, cudnn) могут вести себя иначе при больших B.
- Что проверить:
- отключить/фиксировать аугментацию и шффлинг, переключить AMP в off/on, попробовать детерминированный cudnn и сравнить.
Практический план экспериментов (минимально-необходимый)
1. Базовый набор: тренируйте три конфигурации — (B, $\eta$), (2B, $\eta$), (2B, ${\eta }^{\prime }=\eta \cdot 2$). Постройте loss/acc vs steps, epochs, samples, wall-clock.
2. BN-абляции: тот же набор, но с GroupNorm и с SyncBatchNorm.
3. Аккумуляция градиента: модель тренируется с маленьким B, но с accumulation_steps=2 (имитация 2B по апдейтам) — это отделит эффект размера батча от частоты апдейтов.
4. Линейное и sqrt масштабирование lr + warmup для больших батчей.
5. Замеры градиентной дисперсии и вычисление $G$ для каждой конфигурации.
6. Повторить ключевые точки с $\ge 3$ сидов и собрать статистику (mean ± std).
Что измерять и логировать
- iterations/sec, samples/sec, time-to-accuracy (например до 90%), loss/acc vs steps/epochs/samples, gradient norm/variance, running BN stats, weight norms.
- Для вывода: показывать time-to-X и steps-to-X, а не только финальную точность.
Ожидаемые выводы
- Если при масштабировании lr качество и скорость восстановления — проблема lr-scaling.
- Если замена BN ломает улучшение — виноват BatchNorm/statistics.
- Если градиентная дисперсия сильно падает и большой батч даёт лучшее обобщение без lr-скировки — шум градиента важен для качества.
Если нужно — приведу конкретный набор команд/скриптов для PyTorch (train loop + измерения градиентной дисперсии и BN-замены).