Ниже — практический end‑to‑end pipeline для задачи классификации редких событий (~1% положительных). Включены варианты борьбы с несбалансированностью (пересэмплирование, генеративные модели), выбор моделей и регуляризации, метрики оценки, схема кросс‑валидации и рекомендации по предотвращению переобучения в продакшне.

1) Общая последовательность (pipeline)

Сбор данных и разметка: проверить качество меток, наличие ошибок/утечек целевой переменной.EDA: распределение признаков по классам, корреляции, пропуски, изменение во времени (drift).Разделение: выделить независимый holdout/test (лучше несколько — временной или стратифицированный). Этот набор не трогаем до финальной оценки.Предобработка: фичеинжиниринг, обработка пропусков, кодирование категорий (target encoding осторожно: только внутри CV), нормализация (для линейных/NN).Выделение CV стратегии (ниже).Внутри CV: делать ресэмплирование/генеративную синтетику только на тренировочных фолдах, чтобы не допустить утечек.Тренировка моделей (несколько типов), подбор гиперпараметров (nested CV или Grid/Random+CV).Калибровка вероятностей (Platt / Isotonic) на валидации.Выбор порога по бизнес‑метрикам (precision@k, recall, cost).Тестирование на holdout, оценка устойчивости (бутстрэп CI).Деплой: канарный запуск/shadow mode, мониторинг метрик и дрейфа, план ретренинга.

2) Методы работы с несбалансированностью
A. Классические:

Class weights: для логистической регрессии/деревьев/NN использовать class_weight='balanced' или ручное взвешивание; для XGBoost/LightGBM — scale_pos_weight = n_neg / n_pos (как стартовая точка).Undersampling majority: RandomUnder, NearMiss. Полезно, если много данных и медленная тренировка. Риск — потеря информации.Oversampling minority: RandomOver, SMOTE и его варианты (SMOTE-NC, borderline‑SMOTE). Предупреждение: SMOTE может создавать «смешанные» примеры, осторожно с категориальными признаками.Hybrid (SMOTE + Tomek/ENN): уменьшает шум после оверсэмплинга.

B. Модули потерь и архитектуры:

Focal Loss (gamma≈2) для NN — уменьшает вклад легких примеров.Cost‑sensitive learning: напрямую минимизировать стоимость ошибок (если известны), либо задавать разные веса.

C. Генеративные методы для синтетики:

CTGAN / CTAB-GAN (табличные данные, смешанные типы), Tabular VAE,Conditional GAN. Используются когда positives очень мало.Валидация синтетики: TSTR (train on synthetic, test on real), сравнение распределений (KS, Chi2), nearest‑neighbor distance (чтобы исключить копирование реальных записей).Риски: синтетика может ввести артефакты/утечку, уменьшить разнообразие; использовать как дополнение, не замену реальных данных.

Рекомендация: сначала пробовать class weights и/или score reweighting + tree‑based модели; использовать оверсэмплинг/СTGAN только если реальные positives критически мало и после тщательной проверки качества синтетики.

3) Какие модели пробовать

Базовый набор:
Gradient Boosting (LightGBM, XGBoost, CatBoost) — чаще всего лучший компромисс, хорошо работает с несбалансированностью (scale_pos_weight), легко настраивается.Logistic Regression (с L1/L2) — сильный baseline, легко калибруется и интерпретируется.Random Forest — устойчивый baseline, можно использовать class_weight.Neural Networks — если много признаков/сложные зависимости; использовать focal loss, dropout, batch norm.Ансамбли: стэкинг/блендинг (GBM + LR + NN) часто повышает стабильность и recall.Байесовские модели / Probabilistic models — полезны для оценки неопределённости.

4) Регуляризация и предотвращение переобучения (во время тренировки)

Для деревьев: ограничить max_depth (3–10), min_child_weight / min_data_in_leaf, subsample (0.6–0.9), colsample_bytree (0.6–0.9), ранняя остановка (early_stopping_rounds 50–200).Для линейных моделей: L1 (sparse) или L2, подбирать C через CV.Для NN: dropout (0.1–0.5), L2 weight decay, ранняя остановка, уменьшение learning rate, batch normalization.Ограничивать сложность: число признаков (фич селекшен, regularized embeddings), убрать утечки целевой переменной.Cross‑validation и nested CV для честной оценки гиперпараметров.Контроль ветровых сигналов (leakage): целевой энкодинг делать только на train fold и затем применять на val/test.

5) Кросс‑валидация и стратегии валидации

Stratified K‑fold (k=5 или 10) — поддерживает разделение классов. Для очень малого числа положительных — увеличить k или использовать repeated stratified CV / bootstrapping.Если данные временные — TimeSeriesSplit / rolling origin; нельзя перемешивать примеры в разные временные окна.Если есть группы (user_id, session) — GroupKFold, чтобы один пользователь не оказался и в train, и в test.Nested CV для подбора гиперпараметров + оценки (wenn нужно честное оценивание).Обязательно: ресэмплирование/синтетику применять только внутри train фолда.

6) Метрики оценки (что смотреть при 1% positives)

Основная: PR‑AUC (Precision‑Recall AUC) — информативнее при редких положительных.ROC‑AUC — полезен, но может вводить в заблуждение при сильном дисбалансе.Precision@k (или precision@topN) — для задач, где важны первые N предупреждений.Recall (Sensitivity) — важна когда пропуск положительного критичен.F1-score при выбранном пороге — компактная метрика баланса precision/recall.Выбирать порог по бизнес‑критерию: например, максимизировать F1, или фиксировать минимально допустимую precision и выбирать порог по recall, либо минимизировать ожидаемые потери (cost matrix).Дополнительно: Brier Score (калибровка), Calibration curve, AUPRC CI (бутстрэп), confusion matrix, lift charts.Отчёты по классам: precision@k, recall at fixed precision (например precision>=0.8) — практично.

7) Подбор порога

Строим precision‑recall curve на валидационных данных/holdout и выбираем порог:
по макс F1 илипо требованию по precision/recall (фиксируем один и берем другой),или минимизируем ожидаемую стоимость (если заданы стоимости FP/FN).При редкости часто используют top‑k: взять N наиболее вероятных и проверять precision, если бизнес ограничивает количество проверок.

8) Оценка статистической значимости и устойчивости

Для PR‑AUC/F1 считать CI через бутстрэп по образцам.Повторяем CV несколько раз (repeated stratified CV) для оценки разброса.Если positives мало — оценка метрик будет шумной; учитывайте это при принятии решений.

9) Деплой и меры против деградации / переобучения в эксплуатации

Канарный/Shadow деплой: параллельный запуск модели в проде без влияния на бизнес, сравнение сигналов.Постоянный мониторинг:
Input feature drift (population drift) — мониторинг распределения признаков (KS, PSI).Label drift и target distribution changes.Model performance drift (PR‑AUC, precision@k, recall).Calibration monitoring (Brier score).Логирование необработанных входов и предсказаний, сохранение достаточного объема данных для ретренинга.Триггеры для ретренинга: падение PR‑AUC ниже порога, изменение PSI выше порога, значимое смещение в label rate.Периодический retrospective re‑labeling: если лейблы поступают с задержкой, проводить backfill и переобучения.Human‑in‑the‑loop: ручная проверка прогнозов с высокой вероятностью модели в первые фазы, active learning — запрашивать разметку для неопределённых случаев.Консервативное обновление: использовать постепенное обновление (например, смешивание старой и новой модели), тестирование на holdout.

10) Дополнительные практические советы и предупреждения

Никогда не делать оверсэмплинг до разделения на train/val/test — это утечка.Проверять, что синтетические примеры не просто копируют реальные (privacy и overfitting to minority).Для очень малого числа положительных можно рассмотреть инструменты anomaly detection / one‑class models, но чаще лучше supervisied с класс‑весами.Интерпретируемость: для принятия решений с редкими событиями важна explainability (SHAP, LIME), чтобы понять, что приводит к позитиву.Документировать все приватные условия, предположения и процедуры ретренинга.

11) Примерные гиперпараметры для старта

LightGBM: scale_pos_weight = n_neg/n_pos; num_leaves 31; max_depth 6; learning_rate 0.05; subsample 0.7; colsample_bytree 0.7; reg_alpha/reg_lambda tune.XGBoost: scale_pos_weight = n_neg/n_pos; max_depth 4–8; eta=0.01–0.1; subsample 0.7; colsample_bytree 0.7.LogisticRegression (sklearn): penalty='l2' or 'l1', solver='saga', class_weight='balanced', C in [1e-3, 1e2] grid.NN: focal loss (gamma=1.5–2), class_weight as backup, dropout 0.2–0.5, L2 1e-4–1e-3.

Итоговое правило: начинайте с простого baseline (логистическая регрессия + class weights и/или LightGBM с scale_pos_weight), оцените PR‑AUC и precision@topK; затем постепенно добавляйте более сложные методы (oversampling, генеративные данные, ансамбли), но проверяйте качество на честном holdout и контролируйте риск утечки и дрейфа.

Если хотите, могу:

предложить конкретный CV‑скрипт (стратифицированный/временной) и порядок операций ресэмплинга внутри фолдов;перечислить конкретные проверки качества синтетики (TSTR, nearest neighbor, distribution tests);подготовить пример настройки LightGBM/XGBoost и функции для выбора порога по бизнес‑правилам.