Коротко — как по кривым обучения определить переобучение/недообучение и какие конкретные меры принимать, плюс как количественно измерять эффект каждой меры.

1) Диагностика по кривым обучения

Переобучение (overfitting)
Признак: ошибка на обучающей выборке низкая, ошибка на валидации заметно выше; разрыв (generalization gap) большой и не уменьшается сильно при добавлении данных.Графически: обе кривые могут сходиться по форме, но на всех размерах train_error << val_error.Недообучение (underfitting)
Признак: и train_error, и val_error высоки и близки друг к другу; увеличение объёма данных мало помогает.Графически: обе кривые лежат высоко и близко, часто обе уменьшаются медленно с ростом объёма данных.Смешанные случаи
Если обе ошибки высоки, но gap растёт с ростом модели — значит модель слишком слабая (высокий bias).Если train_error низкий, val_error уменьшается при добавлении данных — скорее всего переобучение, поможет больше данных.

Определения/формулы, которые будут полезны:

generalization gap = val_error − train_error (обычно >0 при нормальном сценарии).относительное улучшение валид. ошибки при мерe = (val_baseline − val_new) / val_baseline.

2) Конкретные меры, ожидаемый эффект на кривые и как измерять эффект

A. Регуляризация (L2 / weight decay, L1, dropout, batchnorm как стабилизатор)

Ожидаемый эффект:
train_error ↑ (несколько), val_error ↓ (если была переобучение), gap ↓.При слишком сильной регуляризации — может перейти в недообучение (обе ошибки вырастут).Как количественно оценивать:
Провести сетку по параметру регуляризации (λ для L2, p для dropout).Для каждого λ построить learning curve (train & val vs n) или хотя бы train/val на полной выборке.Метрики:
Δgap = gap_baseline − gap_with_regΔval = val_baseline − val_with_reg (абсолютное/процентное улучшение)Выбрать λ*, минимизирующий val_error (с учётом доверительных интервалов).Статистика: запустить несколько прогонов (разные seed), вычислить среднее±std val_error, проверить значимость (t-test или bootstrap).Визуализация: validation curve (val_error vs λ) + learning curves для контрольных λ.

B. Увеличение данных (больше примеров / аугментация)

Ожидаемый эффект:
train_error ↑ (т. к. сложнее «запомнить» больше данных) или немного стабилизируется; val_error ↓; gap ↓.При сильном недостатке данных эффект заметен; при уже большой датасете эффект меньше.Как количественно оценивать:
Построить learning curve (val_error и train_error vs n). Это основной инструмент.Подсчитать slope: d(val_error)/d(log n) или аппроксимировать power-law: err(n)=a * n^{−b} + c. Оценить показатель b (если b>0 — добавление данных помогает).Экстраполяция: по fit можно оценить сколько дополнительных примеров нужно, чтобы достичь целевой ошибки.Метрики:
уменьшение val_error при увеличении n: Δval(n2−n1) = val(n1) − val(n2)относительное улучшение: Δval/val(n1)area under learning curve (AULC) — интеграл val_error(n) по n: меньший AULC = более sample-efficient.Статистика: повторные подвыборки/результаты по фолдам, доверительные интервалы.

C. Изменение архитектуры (увеличение/уменьшение числа параметров, глубина, ширина)

Ожидаемый эффект:
Увеличение числа параметров → train_error ↓, val_error может ↓ (если модель недоучивала) или ↑ (если появляется переобучение).Уменьшение мощности → train_error ↑, val_error ↑ при недоучивании, gap ↓.Как количественно оценивать:
Построить серию моделей разной мощности (кол-во параметров, слоёв) и для каждой — learning curve.Построить график val_error vs model_capacity; найти минимум (т. н. bias-variance tradeoff curve).Метрики:
оптимальная вместимость = argmin cap val_error (с учётом std)plot Pareto: (val_error, params) — выбирать точку на фронте Паретосравнить gap для разных моделей: если gap уменьшается с уменьшением params → умая мод.перегрузка.Учёт вычислительных затрат (FLOPs, latency) при выборе архитектуры.

D. Ранняя остановка (early stopping)

Ожидаемый эффект:
Предотвращает переобучение: останов на эпохе, где val_error минимальна.train_error в момент остановки выше, чем при переобученной последней эпохе; val_error минимально.Как количественно оценивать:
Записывать train/val error по эпохам; найти epoch* = argmin val_error(epoch).Метрики:
val_error(epoch*) vs val_error_baseline (последняя эпоха)Δval = val_baseline − val_epoch*Δgap = gap_baseline − gap_epoch*среднее по нескольким запускам, доверительные интервалыПроверить, не приводит ли ранняя остановка к недообучению (сравнить с лучшей возможной моделью на CV).Подбирать patience/monitoring-window через CV.

3) Практический план эксперимента (чтобы количественно оценить любую меру)

Определить базовую метрику качества (например, accuracy, F1, AUC, MSE) и базовую split (train/val/test) или K-fold CV.Зафиксировать baseline: обучить модель (несколько запусков), построить learning curves, сохранить train_error(n) и val_error(n).Внедрить одну меру (регуляризацию/больше данных/архитект./ранняя остановка), повторить те же эксперименты (одинаковые splits/seeds где возможно).Сравнить:
val_error_baseline vs val_error_new (абсолютная и относительная разница)gap_baseline vs gap_newAULC_baseline vs AULC_new (интегральная мера sample-efficiency)Для данных: slope b из power-law и требуемый n для достижения целевой ошибки.Статистика:
Выполнить N повторных запусков, получить среднее ± std.Применить bootstrap или t-test для проверки, значимо ли улучшение.Визуализировать доверительные полосы на learning curves.

4) Конкретные числовые метрики, которые рекомендую считать

train_error, val_error, test_error (в выбранной метрике)generalization gap = val_error − train_errorrelative improvement = (val_baseline − val_new) / val_baselineAULC = ∫_{n_min}^{n_max} val_error(n) dn (можно по лог-шкале)sample complexity по power-law fit: оценка n_required для достижения target_errorдоверительные интервалы через bootstrap или std из нескольких прогонов

5) Практические советы и предупреждения

Всегда иметь отдельный незатронутый test set для финальной проверки; все гиперпараметры (регуляризация, архитектура, ранняя остановка) подбирать по валидации.Не менять одновременно много вещей — изменяйте одну меру за раз и оценивайте эффект.Для малых датасетов аугментация + простая регуляризация часто эффективнее чем сразу увеличивать модель.Для больших моделей/данных: используйте кривые в лог-шкале по n, чтобы увидеть асимптотическое поведение.Учитывайте вычислительные затраты: например, архитектура с меньшим val_error но в 10× медленнее может быть неприемлема.

Если хотите — могу:

показать примерный код (PyTorch/Sklearn) для автоматического построения learning curves, подбора λ и вычисления AULC и sample-complexity;или проанализировать ваши конкретные кривые (загрузите графики или значения ошибок по n), и дам конкретные рекомендации и оценки.