Коротко, но полностью — набор мер и объяснения для задачи бинарной классификации с редкостью положительного класса $1\%$ ($p=0.01$).
1) Что особенно критично
- Главное — не использовать accuracy (ведёт к трюизму: 99% = всё отриц.).
- Чаще критичны пропущенные положительные события (False Negatives, FN) — если пропуск стоит дороже, чем ложная тревога. Но в ряде задач (например, массовые оповещения) критичны и False Positives (FP). Определите бизнес-стоимость ошибок $c_{FN}$ и $c_{FP}$.
2) Предобработка и фичи
- Очистка, строгая отбраковка утечек целевой переменной (data leakage).
- Заполнение пропусков, нормализация по потребности модели.
- Инженерия признаков: исторические агрегаты, временные признаки, взаимодействия, таргет-энкодинг с регуляризацией (smoothing) — только на обучающей части/внутри CV.
- Категории: используйте методы, устойчивые к редким категориям (CatBoost, target-encoding с регуляризацией).
- Оцените и уберите сильные коррелированные шумные признаки.
3) Генерация / балансировка данных
- Варианты:
- Random undersampling отрицательных (с осторожностью — потеря информации).
- Random oversampling положительных (риск переобучения).
- SMOTE / Borderline-SMOTE / ADASYN (создают синт. примеры).
- GAN-based синтез для табличных/последовательных данных (сложно, но иногда полезно).
- Взвешивание классов в функции потерь (preferred: сохраняет реалистичную распределённость).
- Практика: комбинируйте (например, легкое undersampling + SMOTE) и применяйте только на тренировочной части в CV, чтобы не дать утечку.
4) Алгоритмы и обучение
- Сильные базовые модели: градиентный бустинг (XGBoost, LightGBM, CatBoost) с параметром веса класса (scale_pos_weight) или sample_weight.
- Линейные модели (логрег) с регуляризацией и class_weight — быстрые и интерпретируемые.
- Нейросети с focal loss для борьбы с дисбалансом; автоэнкодеры/one-class для аномалий.
- Anomaly detection (Isolation Forest, LOF) если позитивы — аномалии по признакам.
- Энсамбли (stacking) часто повышают recall/precision.
- Всегда калибруйте вероятности (Platt scaling, isotonic), особенно при оптимизации порога.
5) Метрические критерии (что смотреть)
- Обязательно: Precision, Recall (TPR) и F-beta, где $\beta$ отражает важность recall vs precision. Формула:
$$\text{Precision}=\frac{TP}{TP+FP},\text{Recall}=\frac{TP}{TP+FN},$$ $$F_{\beta }=(1+{\beta }^2)\frac{\text{Precision}\cdot \text{Recall}}{{\beta }^2\text{Precision}+\text{Recall}}.$$ Для критичных пропусков используйте $F_2$ (больше весит recall).
- PR-curve и AUPRC (Area Under Precision-Recall) предпочтительнее ROC-AUC при сильном дисбалансе.
- Precision@k / Recall@k и Average Precision (AP) для задач «найти топ-k подозрений».
- Матрица ошибок и ожидаемая стоимость:
$$\text{Cost}=c_{FP}\cdot FP+c_{FN}\cdot FN.$$ Оптимизируйте модель/порог на минимизацию этой стоимости.
- Brier score и калибровка вероятностей для принятия пороговых решений.
6) Валидация и CV
- Используйте stratified k-fold (k=5..10) чтобы в каждом фолде были положительные примеры. При очень редких событиях увеличьте k или используйте повторённый stratified CV.
- Если данные временные — time-series split (forward chaining), нельзя перемешивать по времени.
- Повторяющийся stratified CV или nested CV для честной оценки гиперпараметров.
- При применении oversampling/SMOTE — выполнять внутри каждого тренировочного фолда (fit SMOTE только на train), не на полном датасете.
- Оставьте чистый независимый holdout (из реального распределения) для финальной оценки — метрики должны быть на оригинальном уровне редкости.
7) Порогизация (thresholding)
- Не используйте стандартный порог $0.5$ по умолчанию. Подберите порог $t$ по бизнес-метрике:
$$t^{\ast }=\arg \underset{t}{\min }\left(c_{FP}\cdot FP(t)+c_{FN}\cdot FN(t)\right).$$ - Или максимизируйте $F_{\beta }$ с нужным $\beta$.
- Для операций «вызываем ручную проверку для топ-k» выбирайте порог по precision@k.
- Используйте калиброванные вероятности и затем порог — это стабильнее.
8) Какие ошибки критичны и как их минимизировать на практике
- Если FN критичны (типично при обнаружении редкого важного события):
- Ставьте высокий вес для позитивов в loss / используйте focal loss.
- Снизьте порог, чтобы повысить recall; затем контролируйте FP через второй этап (двухступенчатая система).
- Применяйте ансамбли и модели с разными сигналами, объединяйте (OR) для повышения recall.
- Увеличьте число положительных примеров (сбор данных, разметка, синтез) — лучше настоящие чем синтетические.
- Если FP критичны (операционные расходы):
- Поднимите порог, оптимизируйте precision, применяйте валидацию на прод данных.
- Двухступенчатая схема: быстрый детектор (high recall), затем более строгая модель/правила/человеческая проверка для фильтрации FP.
- В большинстве случаев практичен компромисс: этап обнаружения (с высоким recall) + этап подтверждения.
9) Практические рекомендации (пошагово)
- Оцените бизнес-стоимости $c_{FP},c_{FN}$ и выберите $\beta$ для $F_{\beta }$.
- Разбейте данные корректно (время/группы), оставьте holdout.
- Проведите EDA, feature engineering, уберите утечки.
- Обучите несколько моделей: LightGBM/CatBoost/XGBoost, логрег, NN; используйте class weights.
- Попробуйте SMOTE/ADASYN и/или легкий undersampling — внутри CV.
- Калибровка вероятностей.
- Подбор порога по минимизации ожидаемой стоимости / максимизации метрики (PR/AUPRC, precision@k, F_beta).
- Тест на holdout с исходным prevalence ($p=0.01$).
- Пост-деплой: мониторинг drift, обновление модели, переразметка ошибок.
10) Контроль и деплой
- Логирование предсказаний и фактических исходов, ежемесячная переоценка.
- Метрики операционно релевантные: precision@topK, recall по сегментам, cost per detection.
- Human-in-loop для редких/критичных случаев и постоянный сбор меток.
Заключение: для 1% positives фокусируйтесь на PR-метриках, stratified CV, балансировке/взвешивании, калибровке и пороге, оптимизируемом с учётом реальной стоимости ошибок. Комбинируйте алгоритмы и архитектуру в две стадии (детекция + подтверждение), чтобы практически снизить критичные FN без взрывного роста FP.