Ниже — компактный, но полный pipeline для задачи классификации редкого события + методы борьбы с несбалансированностью, метрики, интерпретируемость и защита от утечки данных.
Pipeline (порядок действий)
- EDA:
- class distribution, пропуски, выбросы, корреляции, временные/групповые паттерны.
- внимательно искать признаки, явно зависящие от целевой (потенциальная утечка).
- Разделение данных:
- выделить чистый финальный holdout (тест), не трогать до финальной оценки.
- для CV использовать stratified CV или Group/Time split (если временные/групповые зависимости).
- Препроцессинг (внутри CV; применять fit только на train):
- очистка, дедупликация, удаление идентификаторов.
- имputation: использовать SimpleImputer/iterative, но обучать только на train; при временных данных — использовать прошлые значения.
- кодирование категорий: target- or frequency-encoding с регуляризацией (обязательно вычислять только на train и сглаживать); one-hot для небольших cardinalities.
- масштабирование/нормализация для методов, где это важно (SVM, логрег, нейросети) — fit на train.
- сохранять весь препроцесс как Pipeline.
- Фиче-инжиниринг:
- создавайте признаки, не использующие будущую информацию (временные лаги, агрегаты по прошлому).
- регуляризация/отбор: L1, tree-based importance, Boruta, RFE.
- Борьба с несбалансированностью (применять только на train folds):
- простые: class weights в loss/алгоритмах (sklearn: class_weight или sample_weight). Часто использовать формулу
$w_c=\frac{N}{K\cdot N_c}$,
где $N$ — число примеров, $K$ — число классов, $N_c$ — число примеров класса $c$.
- ресэмплинг:
- Oversampling: SMOTE, SMOTE-NC (категории), ADASYN, Borderline-SMOTE — применять внутри train folds.
- Undersampling: Random Undersampling, NearMiss, Tomek links.
- Ансамбли: EasyEnsemble, BalanceCascade.
- cost-sensitive learning: задать разные штрафы за FN/FP в функции потерь.
- для нейросетей: focal loss
$$\text{FL}(p_t)=-{\alpha }_t(1-p_t{)}^{\gamma }\log (p_t)$$ где $p_t$ — прогноз для правильного класса.
- альтернативный подход: рассматривать задачу как anomaly detection (One-Class SVM, Isolation Forest, автоэнкодеры) и/или комбинировать с supervised моделью.
- Модельный выбор и CV:
- stratified CV / group CV / time-series CV в зависимости от структуры.
- гиперпараметры через nested CV или CV на train+val.
- при использовании ресэмплинга — внутри CV: for each fold do (fit scaler/imputer -> resample train -> fit model -> evaluate on val).
- Калибровка и порог:
- калибровать вероятности (Platt / isotonic) на валидации; оценивать Brier score:
$$\text{Brier}=\frac{1}{N}\sum _{i=1}^N(p_i-y_i{)}^2.$$ - выбирать порог $t$ по PR-кривой или по минимизации ожидаемой стоимости:
$$E[C](t)=\text{FP}(t)\cdot c_{FP}+\text{FN}(t)\cdot c_{FN}.$$ - Финальная оценка:
- оценить на неизмененном holdout с выбранным порогом; получить доверительные интервалы (bootstrap).
Методы борьбы с несбалансированностью (кратко)
- class weights / sample weights;
- SMOTE/ADASYN/SMOTE-NC/Borderline-SMOTE (осторожно с смешиванием категорий);
- undersampling + ensemble (EasyEnsemble, RUSBoost);
- focal loss / custom cost function;
- anomaly detection для очень редких событий;
- генерация синтетики (CTGAN) с осторожностью и валидацией реальности синтеза;
- threshold-moving и оптимизация порога под бизнес-метрики.
Выбор метрик (приоритеты для редкого события)
- первичны: Precision-Recall AUC (PR-AUC), Precision $=\frac{TP}{TP+FP}$, Recall (Sensitivity) $=\frac{TP}{TP+FN}$.
- F1-score (гармоническое среднее): $F1=2\cdot \frac{\text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}}$.
- MCC (устойчива к дисбалансу):
$$\text{MCC}=\frac{TP\cdot TN-FP\cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}.$$ - При необходимости: ROC-AUC (может быть вводящим для сильного дисбаланса), Balanced Accuracy.
- Калибровка: Brier score, calibration curve.
- Для бизнес-решений: cost/utility metrics (ожидаемая стоимость/прибыль).
- Всегда смотреть confusion matrix и precision@k (или recall@k) при конкретных ресурсных ограничениях.
Интерпретируемость
- глобальная важность:
- permutation importance (на сбалансированном валидационном сете),
- feature importance от деревьев (caveat: коррелированные признаки).
- локальная: SHAP (TreeSHAP для деревьев), LIME (локальные аппроксимации).
- PDP (partial dependence) и ICE для визуализации зависимостей признака ↔ прогноз.
- взаимодействия: SHAP interaction values, pairwise PDP.
- counterfactual explanations для понимания минимальных изменений, переводящих событие в другой класс.
- проверять стабильность и согласованность объяснений между подвыборками (важно при редких событиях).
- если бизнес требует — использовать простые интерпретируемые модели (логрег с L1, решающие правила), либо доказывать доверие к сложной модели через согласованность с доменной логикой.
Предотвращение утечки данных (ключевые правила)
- всегда держать финальный holdout полностью изолированным.
- ничего не вычислять на всем датасете; все агрегаты/импутации/кодирования — только на train внутри CV.
- временная дисциплина: при временных данных не использовать будущие значения (делать лаги/скользящие агрегаты по прошлому).
- целевое кодирование/feature engineering: вычислять статистики по target только на train; применять сглаживание/регуляризацию и/или K-fold target encoding внутри train.
- удалять идентификаторы, связанные с целевой (или обрабатывать с осторожностью).
- дедупликация до split (или гарантировать, что дубли не попадают в разных фолдах).
- логирование: сохранять версию данных, seed, метаданные, полный pipeline для воспроизводимости.
Практические советы и проверки
- всегда проверять модель на нескольких метриках (PR-AUC + recall@precision target).
- ресэмплинг/генерация синтетики — валидировать на holdout, чтобы избежать overfitting синтетике.
- проверять калибровку вероятностей; плохая калибровка искажает выбор порога.
- для критичных решений — строить мониторинг производительности (drift detection), отслеживать изменение base rate.
- документировать все трансформации и предположения, проводить feature audits на возможную утечку.
Короткая последовательность действий для реализации
1) EDA → 2) split (holdout) → 3) pipeline: impute/encode/scale (fit на train) → 4) resample или class weights (в train) → 5) train + CV (stratified/group/time) → 6) calibrate + выбрать порог по бизнес-целям → 7) итоговая оценка на holdout (PR-AUC, recall/precision, MCC, Brier) → 8) интерпретируемость (SHAP, permutation) → 9) деплой + мониторинг.
Если нужен — могу предложить конкретную последовательность команд/код для sklearn/xgboost/lightgbm/keras с учетом всех вышеупомянутых правил.