Кратко и по делу — метрики, методы борьбы, валидация и учёт стоимости ошибок.
1) Какие метрики использовать (и почему)
- Precision: $\text{Precision}=\frac{TP}{TP+FP}$ — важна, когда FP дорого или при редкой положительной классе.
- Recall (Sensitivity): $\text{Recall}=\frac{TP}{TP+FN}$ — важна, когда пропуск положительного критичен.
- F1: $\text{F1}=2\cdot \frac{\text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}}$ — компромисс, полезен при равной важности P и R.
- Precision–Recall AUC (AUPRC) — более информативна при сильном дисбалансе, чем ROC AUC.
- Precision@k / Recall@k — если вы интересуетесь топ-k предсказаниями (операционный сценарий).
- Specificity / FPR: $\text{FPR}=\frac{FP}{FP+TN}$ — нужен для оценки ложных тревог.
- Balanced accuracy: $\frac{\text{Recall}+\text{Specificity}}{2}$ — компенсирует дисбаланс.
- MCC (Matthews corr. coeff.) — хорошо отражает качество при сильном дисбалансе.
- Калибровка: Brier score, calibration plots — важна, если используете вероятности/пороговое принятие.
- Обязательно: отчёт по confusion matrix и базовая частота ($p=0.01$ в вашем случае).
2) Sampling (resampling)
- Undersampling отрицательного класса (random, Tomek links, NearMiss) — быстро, сокращает объём, но теряет информацию и может ухудшить обучение.
- Oversampling позитивного класса (random oversample) — простое решение, риск переобучения.
- Правило: делайте ресэмплинг только на тренировочном наборе, НЕ до разделения данных (чтобы избежать утечки).
3) Генерация синтетических примеров
- SMOTE, SMOTE-variants (Borderline-SMOTE), ADASYN — создают новые позитивные примеры, уменьшает переобучение по сравнению с простым копированием.
- Более продвинуто: GANs / VAE для синтеза — требует аккуратной проверки качества синтетики (чтобы не ввести артефакты).
- Риск: если синтетика несовместима с реальными данными, модель будет переоценена на валидации.
4) Взвешивание потерь / cost-sensitive learning
- Классические веса: например $w_c=\frac{N}{2N_c}$ (нормализованные), или просто $w_{pos}=\frac{N_{neg}}{N_{pos}}$.
- Вклад в функцию потерь: weighted cross-entropy или focal loss: $\text{FL}(p_t)=-{\alpha }_t(1-p_t{)}^{\gamma }\log p_t$ — полезен при сильном дисбалансе и шуме.
- Плюс: не теряется информация (в отличие от undersampling).
5) Ансамбли
- EasyEnsemble / BalanceCascade: строят несколько базовых классификаторов на разных сбалансированных подвыборках и объединяют. Хороши при сильном дисбалансе.
- RUSBoost (Random undersampling + boosting) — эффективность и скорость.
- Class-weighted boosting (например XGBoost/LightGBM с weight/scale_pos_weight) — часто очень эффективны.
- Stack/Blending: комбинировать модели с разными подходами (oversample, weighting) даёт стабильность.
6) Практическая валидация
- Тестовый набор должен отражать реальную распространённость классов (в вашем случае оставить $1\%$ позитивных) — иначе метрики не отражают реального поведения.
- При кросс-валидации используйте stratified k-fold (или repeated stratified) — сохраняет пропорции.
- Если данные временные — используйте временные/скользящие разбиения (no leakage).
- Не выполнять ресэмплинг/генерацию до разбиения; ресэмплинг только внутри training folds.
- Оценивать неопределённость: confidence intervals / bootstrap для метрик.
- Калибруйте вероятности (Platt scaling, isotonic) на валидационном наборе перед выбором порога.
7) Учет стоимости ошибок в бизнесе (практическая оптимизация)
- Явно задать матрицу стоимостей: $c_{FN}$ — стоимость пропуска, $c_{FP}$ — стоимость ложной тревоги.
- Ожидаемая совокупная стоимость: $\text{Cost}=c_{FN}\cdot FN+c_{FP}\cdot FP$. Для нормировки на N: $\text{CostPerSample}=\frac{\text{Cost}}{N}$.
- Подбирать порог $\tau$ минимизирующий ожидаемую стоимость: ${\tau }^{\ast }=\arg {\min }_{\tau }(c_{FN}\cdot FN(\tau )+c_{FP}\cdot FP(\tau ))$.
- Альтернатива: оптимизировать бизнес-метрику напрямую (например maximize profit, net benefit, precision@k). Decision curve analysis / utility curves помогают визуализировать выгоду.
- Если $c_{FN}\gg c_{FP}$, смещать порог в сторону большей чувствительности; если обратное — в сторону большей точности.
8) Рекомендации по рабочему процессу (порядок действий)
1. Сформируйте тест/production-валидацию с реальным класс-распределением ($1\%$).
2. На train: экспериментируйте с class-weight, focal loss, SMOTE, ensembles (EasyEnsemble/RUSBoost).
3. Используйте stratified CV, калибруйте вероятности.
4. С помощью validation set/curve выбирайте порог по ожидаемой бизнес-стоимости или по требуемой recall/precision.
5. Отчёт: AUPRC, precision@k, confusion matrix при выбранном пороге, CostPerSample, интервал доверия.
Коротко: основная метрика при 1% — AUPRC + precision@k и recall при заданном пороге; для обучения — предпочитайте class-weight/focal loss и/или ансамбли на сбалансированных подвыборках; SMOTE/генерация — с осторожностью; валидация — stratified и тест с реальным prevalence; порог подбирать, минимизируя реальную стоимость ошибок.