Краткий практический набор шагов и объяснений для задачи с сильным дисбалансом (положительных ~1%).
1) Почему простая точность вводит в заблуждение
- Точность: $\mathrm{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}$.
- При $1\%$ положительных модель, предсказывающая «всё отрицательное», даст $99\%$ точность, но нулевую полезность (Recall = 0). Пример: $N=10000$, положительных $100$. Все отрицательные → $TN=9900,TP=0$ → $\mathrm{Accuracy}=0.99$, но $\mathrm{Recall}=0$. Поэтому точность не отражает работу на минорном классе.
2) Рекомендуемые метрики (и формулы)
- Precision: $\mathrm{Precision}=\frac{TP}{TP+FP}$.
- Recall (Sensitivity): $\mathrm{Recall}=\frac{TP}{TP+FN}$.
- F1: $F1=2\cdot \frac{\mathrm{Precision}\cdot \mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$.
- PR-AUC (Area under Precision–Recall curve) — основная для редких положительных.
- ROC-AUC — полезна, но может быть оптимистичной при сильном дисбалансе; используйте вместе с PR-AUC.
- Precision@k / recall@k / lift@k — когда важны топ-k предсказаний.
- Brier score / калибровка и calibration curve — для вероятностных решений.
- Confusion matrix и экономическая метрика: ожидаемая стоимость ошибок $E[C]=C_{FP}\cdot FP+C_{FN}\cdot FN$.
3) Подход к обучению и валидации — пошагово
- 1) Разделение данных: выделите невмешаемый тестовый набор с оригинальным распределением классов (holdout).
- 2) Валидация: используйте stratified k-fold (или time-based split для временных рядов). Никогда не делать ресэмплинг до разделения.
- 3) Базовая модель/бенчмарк: простая логистическая регрессия + прогноз «всё отрицательное». Сравнивайте по PR-AUC и recall/precision.
- 4) Ресэмплинг (только на train в каждом фолде):
- Random undersampling (уменьшить мажорный класс) — быстро, но можно потерять инфо.
- Random oversampling (дублирование минорного) — простое, но риск переобучения.
- SMOTE / ADASYN (генерация синтетических примеров) — эффективны, осторожно с категориальными фичами.
- Комбинации: SMOTE + Tomek links / ENN.
- Алгоритмический ресэмплинг: EasyEnsemble, BalancedRandomForest.
- 5) Cost-sensitive обучение:
- Используйте class weights в loss (например в логистике, XGBoost, NN): штраф за ошибку на минорном классе выше.
- Focal loss для нейросетей (снижает вклад лёгких примеров).
- 6) Настройка порога:
- Модель должна выдавать вероятности; подбирайте порог решения на валидации по целевой метрике или по минимизации ожидаемой стоимости $E[C]$.
- 7) Тюнинг гиперпараметров:
- Оптимизируйте по PR-AUC, F1@threshold или по ожидаемой стоимости, а не по accuracy.
- Используйте nested CV, чтобы избежать утечки при тюнинге.
- 8) Калибровка вероятностей:
- Platt scaling или isotonic regression на валидационном наборе (важно для принятия решений по порогу).
- 9) Оценка на тесте:
- Финально оцените PR-AUC, precision/recall при выбранном пороге, confusion matrix и экономическую метрику.
- 10) Мониторинг в проде:
- Слежение за drift, переоценка порогов и калибровки, периодическая переобучка.
4) Учёт стоимости ошибок
- Сформулируйте матрицу затрат: $C_{FN}$ (стоимость пропустить положительный) и $C_{FP}$.
- Минимизируйте ожидаемую стоимость: найти порог $t$, который минимизирует $E[C](t)=C_{FP}\cdot FP(t)+C_{FN}\cdot FN(t)$.
- Если точная стоимость неизвестна — покажите результаты для нескольких соотношений $C_{FN}:C_{FP}$ и дайте рекомендации менеджменту.
5) Практические советы и предостережения
- Ресэмплинг только на train; валидация и тест — с истинным распределением.
- Избегайте утечки признаков (особенно при генерации синтетики).
- Сравнивайте несколько подходов: class-weighted, SMOTE, ансамбли; часто комбинация лучше.
- Для экстремально редких событий рассмотрите подходы anomaly/outlier detection.
- Документируйте метрики, пороги и бизнес-логику принятия решения.
Коротко: ориентируйтесь на PR-AUC, precision/recall, калибруйте порог под бизнес-стоимости, применяйте ресэмплинг или cost-sensitive обучение аккуратно (только на train) и валидируйте через stratified/nested schemes.