Кратко: падение качества с ростом объёма данных обычно не из‑за регуляризации, а из‑за проблем с данными или валидацией. Ниже — возможные причины, план диагностики и конкретные меры исправления.
Возможные причины
- Смещение распределений (covariate shift / dataset shift): распределение признаков в новых данных $P_{new}(X)$ отличается от исходного $P_{train}(X)$.
- Изменение целевой функции / концепта (concept drift): условное $P(Y\mid X)$ изменилось со временем.
- Утечка целевой переменной (target leakage): в обучении есть признаки, которые зависят от $Y$ и присутствовали в меньших объёмах раньше, теперь их нет/они изменились.
- Неверная валидация / утечка между train/val/test (например, пересекающиеся сэмплы, несоответствующая стратификация, использование будущей информации в трейне).
- Изменение диспозитива (device, сенсоры, сбор данных): изменения в процедуре сбора данных, форматах, нормализации.
- Плохое качество меток (label noise) или их систематическое смещение при добавлении новых данных.
- Сэмплирование / смещение выборки (selection bias): новые данные репрезентируют другую подгруппу популяции.
- Дубликаты или переобучение на ранних "узких" подвыборках: при добавлении разнообразных данных модель становится хуже, если метрики/шаблоны были завязаны на шум/утечку.
План диагностики (порядок действий)
1. Подтвердите эффект: постройте кривые обучения — ошибка на трейне и валидации как функции объёма данных $L_{train}(n)$, $L_{val}(n)$.
2. Разбейте данные по времени/пакетам/источникам и сравните качество на каждом кусочке: вычислите $L_{val}^{(t)}$ для каждого периода $t$.
3. Сравните распределения признаков и целевой переменной:
- статистики: среднее/дисперсия/доля пропусков по признакам в старых и новых данных;
- тесты: KS для непрерывных $D_{KS}$, chi‑sq для категориальных, PSI: $\mathrm{PSI}={\sum }_i(P_i-Q_i)\ln \frac{P_i}{Q_i}$.
4. Визуализация: гистограммы, boxplot, PCA / t‑SNE по старым vs новых сэмплам.
5. Проверка утечки и зависимости от признаков:
- тренируйте модель без подозрительных признаков и сравните;
- перемешайте (permute) целевые метки в новом блоке и посмотрите, падает ли качество меньше/больше.
6. Контроль валидации: проверьте, что train/val/test разделены корректно (нет пересечений, одинаковая предобработка, одинаковые seed).
7. Дубликаты и near‑duplicates: хеши строк, сравнение идентификаторов.
8. Оцените стабильность предсказаний: обучите на первых $n_0$ примерах и протестируйте на новых; затем обучите на новых и протестируйте на старых — асимметрия укажет на shift или drift.
9. Диагностика меток: ручная выборочная проверка меток в проблемных батчах; оценка согласия аннотаторов.
10. Проверка препроцессинга: одинаковы ли pipelines (скейлинг, кодирование) для всех наборов.
Меры исправления (соотнести с причинами)
- При covariate shift:
- importance weighting: пере-взвешивание примеров по отношению $w(x)=\frac{P_{target}(x)}{P_{train}(x)}$;
- domain adaptation / fine‑tune на новых данных;
- собрать более репрезентативную обучающую выборку.
- При concept drift:
- онлайн‑обучение / частые дообучения (retraining);
- модели с адаптивным весом последних данных, детекторы дрейфа + триггер retrain.
- При target leakage:
- удалить/заменить утёкшие признаки;
- пересмотреть порядок feature engineering (чтобы не использовать будущую информацию).
- При неверной валидации:
- использовать корректный split (time‑based для временных данных, stratified для классов);
- применить k‑fold с блокировкой по ключам, чтобы избежать утечки.
- При изменении диспозитива / сенсоров:
- нормализация по устройству, добавить device id как признак;
- отдельная модель на каждый диспозитив или multi‑task подход.
- При плохом качестве меток:
- фильтрация/исправление меток, active learning для уточнения;
- робастные потери (Huber, focal) или методы обучения с шумными метками.
- При selection bias:
- стратифицированная пере‑выборка или up/down‑sampling;
- пост‑стратификация / calibration, reweighting по подгруппам.
- Общие инженерные меры:
- унифицировать preprocessing в прод/валид/трейн;
- логирование источников данных и версий pipelines, мониторинг метрик по источникам;
- простые sanity checks при добавлении новых данных (доля новых категорий, диапазон признаков, пропуски).
- Если проблема в модели (недостаточная/чрезмерная сложность):
- скорректировать архитектуру/капасити и пересмотреть регуляризацию, но лишь после проверки данных.
Короткий чеклист действий прямо сейчас
1. Постройте learning curve $L_{train}(n),L_{val}(n)$.
2. Сравните распределения признаков и меток (KS/PSI).
3. Проверьте валидацию на утечки и дубликаты.
4. Отключите подозрительные признаки и повторите эксперимент.
5. Если shift подтверждён — примените reweighting/fine‑tuning или соберите корректные данные.
Если хотите, могу предложить конкретные команды/скрипты для проведения тестов (KS, PSI, проверка дубликатов, permute‑label test) для вашего стека (pandas/sklearn/PyTorch).