Ниже — практическая, пошаговая «полная» стратегия для работы с сильно несбалансированным набором для бинарной классификации $1$. Включены подготовка данных, выбор метрик, набор методов борьбы с несбалансом $oversampling,undersampling,classweights,anomalydetection$, схема валидации и пример псевдокода для оценки модели.

1) Общая идея и принципы

Цель: оптимизировать модель под реальные бизнес-метрики $стоимостьFN/FP,precision@k,ранжированиеклиентовит.д.$, а не просто «максимизировать accuracy», которая бесполезна при 1% положительных.Избегать утечек данных $dataleakage$: любые трансформации, подстраивающие данные под целевую переменную $включаяресемплинг$, выполнять внутри fold’ов валидации.Не изменять распределение валидационного и тестового наборов: ресемплинг применять только к тренировочным данным.Учитывать ограниченное количество позитивов при выборе схемы валидации $вкаждомfold’едолжнобытьдостаточноечислоположительныхпримеров$.

2) Подготовка данных $pipeline$

Первичная очистка:
Удалить/исправить очевидные ошибки, дубликаты.Проверить таргет и метки $вредкихсобытияхчастоошибкивразметке$.Feature engineering:
Создать агрегаты, интервалы, взаимодействия, признаки времени.Для категорий: target encoding с регуляризацией $новыполнятьвCV$ или частотное кодирование.Обработка пропусков:
Специфично: заполнение медианой/картой/индикатором NA.Масштабирование и преобразования:
Для моделей, чувствительных к масштабу — StandardScaler/RobustScaler в pipeline.Feature selection:
Ограничить размер модели, особенно при малом числе позитивов $чтобыснизитьпереобучение$.Баланс рассмотрения классов: сохраняйте оригинальный тестовый набор для финальной оценки.

3) Выбор метрик качества

Основные — предпочтительнее над accuracy:
Precision, Recall $Sensitivity$, F1-score.Precision-Recall AUC $AveragePrecision$ — ключевая метрика при редких позитивных событиях.Precision@k / recall@k / lift@k — когда у вас бизнес-ограничения на количество действий $напр.,топ-100клиентов$.ROC AUC — полезен, но может быть обманчив при 1% positive; использовать как дополнительную.Matthews Correlation Coefficient $MCC$ — полезен при несбалансированности.Specificity $TrueNegativeRate$ — если важны FP.Brier score / calibration curve — если важна корректная вероятность.Если есть явные бизнес-штрафы: используйте ожидаемую стоимость $expectedcost$ и оптимизируйте порог по ней.

4) Методы борьбы с несбалансом — что и когда использовать
Общие советы:

Пробуйте несколько подходов и сравнивайте по релевантным метрикам на валидации.Комбинируйте методы $успешноработаеткомбинацияclassweights+легкийoversamplingилиSMOTEENN$.Всегда выполнять ресемплинг только на тренировочной части fold’а.

4.1 Class weights / cost-sensitive learning

Описание: увеличить вес ошибки на положительном классе в функции потерь $сколькоразважнееFNчемFP$.Где эффективно: деревья $XGBoost/LightGBMимеютscal{e}_{p}o{s}_{w}eight$, логистическая регрессия, нейросети $вlossпередаетсяweight$.Плюсы: не изменяет число обучающих примеров; простая реализация; хороша когда признаки информативны.Минусы: может не справиться при чрезвычайно редких позитивных и/или неоднородных примерах.

4.2 Oversampling $повтор/генерация$

Random Oversampling: просто дублирование позитивных примеров.
Плюсы: просто, сохраняет информацию.Минусы: риск переобучения $моделизапоминаютдубликаты$.SMOTE / Borderline-SMOTE / ADASYN: синтетические примеры средней линии между позитивами.
Плюсы: уменьшает переобучение по сравнению с простым дублированием.Минусы: может создавать «неправдоподобные» примеры, особенно при малом числе позитивов и многоразмерных/категориальных признаках.GAN/CTGAN/Tabular augmentation: для табличных данных, если много непрерывных данных.
Плюсы: потенциально более реалистичные синтетические примеры.Минусы: сложность, нестабильность, риск синтеза артефактов.Практика: SMOTE + удаление ближайших негативных $SMOTEENN$ часто даёт хороший компромисс.

4.3 Undersampling $уменьшениенегативов$

Random undersampling: удаление части негативных примеров.
Плюсы: ускоряет обучение, уменьшает дисбаланс.Минусы: возможна потеря важной информации; нежелательно при малом общем объёме данных.Informed undersampling: ClusterCentroids, Tomek links, EditedNearestNeighbours $ENN$.
Плюсы: удаляют "шумные" негативы, сохраняют разнообразие.Практика: применимо, если у вас много негативных и вычислительные ограничения. Часто сочетают undersampling с oversampling.

4.4 Combined techniques

SMOTETomek, SMOTEENN — объединяют SMOTE + очистку $Tomek/ENN$, часто даёт улучшение.Balanced bagging ensembles: обучать много моделей на разных подвыборках с балансировкой $balancedrandomforest$.Простое правило: если мало позитивов (<100), осторожнее с синтетикой; можно предпочтеть class_weights + ансамбли + threshold tuning.

4.5 Anomaly / outlier detection $one-class$

Подход: рассматривать позитивы как аномалии и обучать метод «one-class» на негативных $илинаоборот$.Методы: Isolation Forest, One-Class SVM, Autoencoder $реконструкция$.Применимость: когда нет/почти нет размеченных позитивов либо позитивы сильно отличаются от негативов.Плюсы: не требует сбалансированных меток.Минусы: хуже, если позитивы разнообразны и не единообразно «аномальны».

4.6 Специальные loss-функции

Focal Loss: уменьшает вклад легко классифицируемых негативов — полезно при extreme imbalance, для нейросетей.Custom cost-sensitive loss: оптимизировать ожидаемую стоимость.

5) Схема валидации и подбор гиперпараметров

Стратегия:
Разделите данные на train + hold-out test $например,80/20$ stratified по классу. Hold-out идёт только для финальной оценки.На train делайте StratifiedKFold $k—такое,чтобывкаждомfold’ебылоадекватноеколичествопозитивов$. Правило: минимум ~5–10 положительных в каждом fold’е, если возможно. Если мало позитивов, используйте Leave-One-Out по позитивам или repeated-stratified CV с осторожностью.В рамках каждого train_fold:
Выполнить трансформации, импутацию, кодирование, масштабирование $fitнаtrai{n}_{f}old$.Применить ресемплинг $oversample/undersample$ только к тренировочной части fold’а.Обучить модель на преобразованных данных.Оценить модель на validation_fold без ресемплинга $оригинальноераспределение$.Для выбора гиперпараметров используйте nested CV или GridSearchCV/RandomizedSearchCV с inner fold’ами; при ограниченных данных можно использовать Bayesian Optimization с CV.Для threshold tuning: после обучения модели на train, получить предсказания вероятностей на validation set$s$ и выбрать порог, оптимизирующий выбранную бизнес-метрику $например,maximize{F}_{b}eta,maximizeexpecte{d}_{u}tility,precision@k$.Повторите процесс несколько раз $repeatedstratifiedk-fold$ чтобы оценить стабильность.

6) Как сравнивать подходы $порядокдействий$

Baseline: модель без ресемплинга + class_weights $есливозможно$. Оценить baseline по PR-AUC, precision@k, recall.Попробовать различные ресемплинги $randomoversample,SMOTE,undersample,SMOTEENN$. Каждый вариант — в pipeline и только внутри CV.Попробовать class_weights / focal loss / scale_pos_weight.Попробовать ансамбли / balanced bagging / gradient boosting с весами.Попробовать anomaly detection, если нет достаточного числа позитивов.Для каждого подхода: сохранить метрики на валидационных fold’ах и окончательный тест на hold-out.Выбрать модель по бизнес-метрике, затем проанализировать ошибки $falsepositives/falsenegatives$, и провести calibration $Plattscaling,isotonic$ при необходимости.

7) Практические советы и подводные камни

Ни в коем случае не ресемплируйте весь датасет до разбиения на train/val/test.Если используете таргет-энкодинг, защищайте его через CV $спомощьюрегуляризации/смущения$ и не leak’айте статистики из валидации.Для очень редких событий соберите больше данных $фокуснамаркировке$ — лучший путь, чем агрессивный ресемплинг.Мониторьте calibration: вероятности могут быть некорректны после oversampling.Визуализируйте precision-recall curve и lift chart, а не только одну метрику.Для production — фиксируйте порог и оценивайте на hold-out и в настоящем трафике, т.к. prevalence может меняться.

8) Пример псевдокода $Python-like,scikit-learn/imbalanced-learnстилизованно$ $Цель:правильныйpipelineсресемплингомвнутриCVивычислениемрелевантныхметрик$

# Предположим: X, y — входные данные; positive label = 1
from sklearn.model_selection import StratifiedKFold
from sklearn.pipeline import Pipeline
from imblearn.over_sampling import SMOTE
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_recall_curve, average_precision_score, precision_score, recall_score, f1_score, roc_auc_score, matthews_corrcoef
K = 5
skf = StratifiedKFold$n_{s}plits=K,shuffle=True,rando{m}_{s}tate=42$
metrics_per_fold =
for train_idx, val_idx in skf.split$X,y$:
X_train, X_val = X$$trai{n}_{i}dx$$, X$$va{l}_{i}dx$$ y_train, y_val = y$$trai{n}_{i}dx$$, y$$va{l}_{i}dx$$
# pipeline: сначала трансформации, потом ресемплинг, потом модель
# Важно: SMOTE применяется ТОЛЬКО к тренировочным данным
preproc = Pipeline([
('scaler', StandardScaler()) # fit on X_train only
])
X_train_p = preproc.fit_transform$X_{t}rain$ X_val_p = preproc.transform$X_{v}al$
# apply resampling to training set only
sm = SMOTE$samplin{g}_{s}trategy=0.1,rando{m}_{s}tate=42$ # пример: увеличить positives до 10%
X_train_res, y_train_res = sm.fit_resample$X_{t}rai{n}_p,y_{t}rain$
# train model with class weights as alternative
model = LogisticRegression$clas{s}_{w}eight{=}^{\prime }balance{d}^{\prime },solver{=}^{\prime }liblinea{r}^{\prime }$
model.fit$X_{t}rai{n}_{r}es,y_{t}rai{n}_{r}es$
# predict probabilities on validation $noresampling$ y_prob = model.predict_proba$X_{v}a{l}_p$$$:,1$$ y_pred_default = (y_prob >= 0.5).astype$int$
# compute metrics
ap = average_precision_score$y_{v}al,y_{p}rob$ # PR-AUC
roc = roc_auc_score$y_{v}al,y_{p}rob$ prec = precision_score$y_{v}al,y_{p}re{d}_{d}efault$ rec = recall_score$y_{v}al,y_{p}re{d}_{d}efault$ f1 = f1_score$y_{v}al,y_{p}re{d}_{d}efault$ mcc = matthews_corrcoef$y_{v}al,y_{p}re{d}_{d}efault$
# threshold tuning example: choose threshold that maximizes F1 on validation
precisions, recalls, thresholds = precision_recall_curve$y_{v}al,y_{p}rob$ f1s = 2 * precisions * recalls / $precisions+recalls+1e-12$ best_idx = argmax$f1s$ best_threshold = thresholds$$bes{t}_{i}dx$$ if best_idx < len$thresholds$ else 0.5
# evaluate at best_threshold
y_pred_best = (y_prob >= best_threshold).astype$int$ prec_best = precision_score$y_{v}al,y_{p}re{d}_{b}est$ rec_best = recall_score$y_{v}al,y_{p}re{d}_{b}est$ f1_best = f1_score$y_{v}al,y_{p}re{d}_{b}est$
metrics_per_fold.append${}^{\prime }a{p}^{\prime }:ap{,}^{\prime }ro{c}^{\prime }:roc{,}^{\prime }pre{c}_{d}efaul{t}^{\prime }:prec{,}^{\prime }re{c}_{d}efaul{t}^{\prime }:rec{,}^{\prime }f{1}_{d}efaul{t}^{\prime }:f1{,}^{\prime }bes{t}_{t}hreshol{d}^{\prime }:bes{t}_{t}hreshold{,}^{\prime }pre{c}_{b}es{t}^{\prime }:pre{c}_{b}est{,}^{\prime }re{c}_{b}es{t}^{\prime }:re{c}_{b}est{,}^{\prime }f{1}_{b}es{t}^{\prime }:f{1}_{b}est{,}^{\prime }mc{c}^{\prime }:mcc$
# Aggregate results across folds $mean,std$ # Затем финальная тренировка на всем train $свыбраннойстратегиейипорогом$, и итоговый тест на hold-out:
# - train pipeline on full train set with chosen resampling and hyperparams
# - predict on hold-out test $noresampling$ # - report the same metrics + business metrics

9) Пример расширенной схемы $поискгиперпараметров+nestedCV$

Outer StratifiedKFold для оценки обобщающей способности.Inner StratifiedKFold для подбора гиперпараметров $grid/randomsearch$, при этом все ресемплинги и трансформации выполняются в inner fold’ах.Для каждого outer fold фиксируем лучший набор гиперпараметров и оцениваем на outer validation.

10) Что делать при очень малом числе позитивов (например, <50)

Предпочтительнее: собрать больше меток $разметка$, специализированные эксперименты.Попробовать one-class / anomaly detection.Использовать сильный простой модельный алгоритм $например,логистическаярегрессиясрегуляризацией$ и class_weights.Использовать ручной fe engineering, rule-based подходы и затем hybrid $rules+ML$.

11) Контроль качества и интерпретация

Постройте confusion matrix, lift chart, PR-curve.Проанализируйте FP $возможноонинетакиеужи«плохие»$ и FN $почемуmissed$.Calibration: если будете использовать вероятности, то калибруйте модель на валидации $Platt/isotonic$.

12) Резюме рекомендаций

Начните с baseline: class_weights + простая модель; оцените PR-AUC, precision@k.Экспериментируйте с SMOTE / SMOTEENN / undersampling, но только внутри CV.При большом объёме негативов можно undersample, при малом числе позитивов осторожно с синтетикой.Если бизнес требует вероятностей — калибруйте модель.Используйте stratified CV; при temporal data — time-based split.В финале оптимизируйте порог по бизнес-метрике $expectedcost,precision@kилиF\beta$.

Если хотите, могу:

Составить конкретный pipeline и пример кода $скептично:production-ready$ для вашей конкретной модели $XGBoost/LightGBM/NN$ и типа данных $табличные/текст/изображения$.Помочь подобрать конкретные гиперпараметры и стратегию ресемплинга, исходя из размера датасета $укажитеNичислопозитивов$.