Кратко и по делу — план действий для адекватной модели на сильно несбалансированных данных (например, $95\%/5\%$).
1) Подготовка данных
- Проверка качества: удалить дубликаты, скорректировать ошибки, учесть временную/групповую структуру (чтобы не допустить утечки).
- Разделение: сразу выделить независимую тестовую выборку, сохранить реальный баланс в тесте.
- Преобразования: нормализация/категориальные признаки через pipeline; применять все трансформации внутри CV (fit на тренировке, transform на валидации).
2) Работа с несбалансированностью (варианты, применять только на тренировочных данных)
- Ресэмплинг:
- Random undersampling негативного класса (быстро, риск потери информации).
- Random oversampling позитивного класса или синтетический SMOTE/ADASYN (лучше сочетать с последующей очисткой).
- Комбинированные методы (SMOTE + Tomek links, SMOTEENN).
- Для очень малого числа позитивов — генерация/аугментация или экспертная разметка.
- Взвешивание классов:
- В loss/алгоритме задать веса $w_i\propto 1/N_i$ (например, в sklearn: class_weight='balanced').
- Для градиентных бустингов: параметр $scale\_pos\_weight$ (XGBoost/LightGBM).
- Альтернативы:
- Focal loss для нейросетей.
- One-class / anomaly detection, если позитивы — аномалии.
- Важное правило: любые ресэмплинги делать только в тренировочных фолдах, не менять валидационные/тестовые данные.
3) Выбор метрик (предпочтение и объяснение)
- Основные формулы (обозначения $TP,FP,FN,TN$):
- Precision: $\mathrm{Precision}=\frac{TP}{TP+FP}$.
- Recall (Sensitivity): $\mathrm{Recall}=\frac{TP}{TP+FN}$.
- F1: $F1=2\cdot \frac{\mathrm{Precision}\cdot \mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$.
- Для редкого положительного класса приоритет обычно у Precision/Recall и PR-AUC:
- PR-AUC (area under precision-recall curve) лучше отражает поведение на редком позитиве.
- ROC-AUC можно использовать, но при сильном дисбалансе он может быть оптимистичен; использовать вместе с PR-AUC.
- Учитывать бизнес-цель:
- Если важнее не пропустить положительные — оптимизировать Recall (контролируя Precision).
- Если важны ложные срабатывания — оптимизировать Precision.
- Часто практично оптимизировать F1 или максимизировать Recall при ограничении Precision (или наоборот).
- Дополнительно: матрица ошибок, Precision@k, NPV/Specificity, MCC при многопараметрической оценке.
4) Выбор алгоритмов
- Начать с простых стабильных:
- Logistic Regression с class_weight, калибровкой вероятностей.
- Tree-based: Random Forest, XGBoost, LightGBM (с class_weight/scale_pos_weight и параметрами для регуляризации).
- Для сложных признаков/больших данных: нейросети с focal loss и калибровкой.
- Энсамблирование:
- Bagging на разных сбалансированных подвыборках (EasyEnsemble, BalanceCascade).
- Стекинг/квазивзвешивание моделей.
- Если очень мало позитивов — рассмотреть anomaly detection, rule-based модели или получить больше меток.
5) Валидация и подбор гиперпараметров
- Стратегия:
- Отдельный тестовый сет с реальным балансом.
- На тренировочных данных — stratified $k$-fold CV (обычно $k=5$ или $10$), или repeated stratified CV для стабильности.
- Если данные имеют временную компоненту — использовать time-series split (не перемешивать по времени).
- Для группированных данных — GroupKFold, где группы не пересекаются между фолдами.
- Поиск гиперпараметров:
- Nested CV или CV для подбора, чтобы избежать утечки при выборе модели.
- Во время CV применять ресэмплинг внутри каждого тренировочного фолда.
- Оценка стабильности:
- Считать доверительные интервалы метрик (bootstrap или повторные CV).
- Выбирать модель по целевой бизнес-метрике (PR-AUC, F1@threshold или Recall при фиксированном Precision).
6) Калибровка и оптимизация порога
- Калибровать вероятности (Platt/Isotonic) на валидации.
- Подбирать порог отсечки для бинаризации вероятностей исходя из trade-off Precision/Recall (например, максимизация F1 или задача: Recall>=X и минимизировать FP).
- Относиться к порогу как к гиперпараметру, подбирать на валидационном наборе, фиксировать затем на тесте.
7) Практические рекомендации и контроль ошибок
- Всегда фиксировать и реплицировать pipeline (resampling, scaling, feature selection) внутри CV.
- Проверять на переобучение: сравнивать метрики train vs val (особенно Recall/Precision).
- Интерпретируемость: feature importance, SHAP для объяснения прогнозов, особенно при редких позитивных примерах.
- Если возможно — собрать дополнительные метки позитивного класса или использовать активное обучение.
Краткая последовательность действий
1. Разделить: train/validation/test (test с реальным балансом).
2. На train: pipeline + ресэмплинг/взвешивание (внутри stratified CV).
3. Подбирать гиперпараметры по PR-AUC / F1 / Recall@Precision.
4. Калибровать вероятности, подбирать порог на валидации.
5. Финальная оценка на отложенном тесте с реальным балансом и CI.
Если нужно — дам пример конфигурации (SMOTE + LightGBM с class_weight и stratified 5-fold CV) и конкретные значения гиперпараметров.