Коротко: у вас сильно несбалансированный датасет (accuracy $92\%$, recall положительного класса $12\%$). Нужно сменить метрику успеха, попробовать ресэмплинг и взвешивание, перестроить порог и/или модель. Ниже — набор техник и конкретный план экспериментов.
1) Какие метрики использовать (и почему)
- Основные:
$\text{precision}=\frac{TP}{TP+FP}$, $\text{recall}=\frac{TP}{TP+FN}$.
- Сводные: average precision / PR-AUC (лучше для несбалансированных), ROC-AUC (дополнительно).
- Балансные метрики для оптимизации: $F_{\beta }=(1+{\beta }^2)\frac{\text{precision}\cdot \text{recall}}{{\beta }^2\text{precision}+\text{recall}}$. Для акцента на recall выбрать $\beta >1$ (например $F_2$).
- Бизнес‑ориентированные: precision@k, recall при фиксированном пороге или «recall при precision $\ge$ заданное значение».
- Итог: выбрать первичную метрику вместе со стейкхолдерами — либо PR‑AUC / average precision, либо $F_{\beta }$ (например $F_2$) либо recall при ограничении precision.
2) Ресэмплинг и взвешивание
- Взвешивание классов в логистической регрессии: задать веса обратно пропорционально частоте, например $w_c=\frac{N}{K\cdot N_c}$ (где $N$ — общее число, $K=2$). Попробовать сетку весов.
- Oversampling: SMOTE, Borderline‑SMOTE, ADASYN; аккуратно — синтетические образцы.
- Undersampling: Random undersampling, NearMiss, Tomek links, ClusterCentroids.
- Комбинированные: SMOTE+ENN, SMOTE+Tomek.
- Энсамбли на сбалансированных подвыборках: BalancedBagging, EasyEnsemble, BalanceCascade.
- Альтернативы: generate augmentation (если применимо), one‑class / anomaly detection (если положительный очень редкий).
3) Модификации обучения / потерь
- Для градиентных методов: установить scale_pos_weight (XGBoost) или is_unbalance (LightGBM).
- Менять функцию потерь: focal loss $FL(p_t)=-(1-p_t{)}^{\gamma }\log (p_t)$ для фокусировки на редком классе; class‑balanced loss $w_i=\frac{1-\beta }{1-{\beta }^{n_i}}$.
- Калибровка вероятностей: Platt scaling или isotonic после обучения.
4) Пороговая оптимизация
- На валидации строить precision–recall кривую и выбирать порог по критерию (максимум $F_{\beta }$ или максимальный recall при precision $\ge$ требуемое).
- Формально: для сетки порогов $t$ вычислять $\text{precision}(t),\text{recall}(t)$ и выбирать $t^{\ast }=\arg {\max }_t\text{metric}(t)$.
5) Модели и ансамбли
- Попробовать более мощные модели: Random Forest, XGBoost/LightGBM, CatBoost; часто лучше справляются с несбалансированностью.
- Balanced Random Forest, EasyEnsemble, стохастические ансамбли на сбалансированных бутстрэпах.
- Stack/Blending: базовые классификаторы + мета-классификатор, учёт веса классов и ресэмплинга на уровне первого уровня.
6) Валидация и предотвращение утечки
- Стратифицированное разбиение: train / val / test (удержать тест для финальной оценки).
- При CV выполнять ресэмплинг только внутри обучающей фолды (нельзя ресэмплить вместе с валидацией).
- Повторимые рандомы, доверительные интервалы для метрик (bootstrap).
7) План экспериментов (шаги)
- A. Базовая оценка: сохранить holdout test; на train/val получить baseline (логистическая регрессия) с текущей threshold $0.5$. Снять PR‑AUC, ROC‑AUC, $F_1$, $F_2$, precision@k.
- B. Взвешивание классов: grid по $w_{pos}$ (например от $1$ до $100$ или по формуле обратной частоты). Оценить метрики на val; выбрать лучшие веса.
- C. Ресэмплинг: протестировать RandomOversample, SMOTE, ADASYN, RandomUndersample, SMOTE+ENN; каждый метод внутри CV. Сравнить по PR‑AUC и выбранному $F_{\beta }$.
- D. Модели: попробовать RF, XGBoost/LightGBM с параметрами для imbalance (scale_pos_weight), balanced RF, EasyEnsemble. Комбинировать с ресэмплингом.
- E. Loss‑based: обучить NN/логистику с focal loss или class‑balanced loss, сравнить.
- F. Пороговая оптимизация: для лучших моделей на val выбрать порог $t^{\ast }$ по бизнес‑метрике (например максимальный recall при precision $\ge p_0$).
- G. Калибровка: при необходимости применить Platt/isotonic и проверить изменение precision/recall.
- H. Финальная модель: выбрать по primary metric, зафиксировать порог и оценить на отложенном тесте с доверительными интервалами.
- I. Отчёт: confusion matrix при выбранном пороге, PR‑кривая, важности признаков, возможный cost analysis (считая стоимости FN/FP).
8) Критерий успеха
- Договориться с бизнесом (сколько стоит пропустить положительный и сколько — ложный сигнал).
- Примеры формализации: «увеличить recall с $12\%$ до X при precision не ниже Y» или «увеличить PR‑AUC на Z%». Без бизнес‑ограничений разумный технический критерий — значимое улучшение primary metric (например рост $F_2$ и PR‑AUC) и стабильность на тесте.
9) Практические замечания
- Не доводить до overfitting при агрессивном oversampling.
- Оценивать производительность и latency (если важны).
- Логика выбора: если цель — найти как можно больше положительных — оптимизируем recall (или $F_{\beta }$ с $\beta >1$) с ограничением по precision; если важен общий баланс — PR‑AUC / $F_1$.
Если нужно, могу предложить конкретную сетку гиперпараметров и порядок запуска экспериментов для автоматизации (скрипты/ML pipeline).