Проблема (коротко)
- Вы выполнили $\text{StandardScaler.fit\_transform}$ на всей выборке до разбиения — это утечка данных: параметры масштабирования (среднее и дисперсия) рассчитаны с учётом теста. В результате модель «видела» статистику теста при обучении, метрики на тесте завышены.
Почему это плохо (важно)
- Оценка перестаёт быть независимой: модель может подстроиться под глобальные признаки распределения, которые недоступны в реальном применении. Особенно критично при редких событиях — смещение оценки может быть большим.
Корректная пайплайн‑стратегия
1. Разделение:
- Сначала разделите данные на train / test (и, при необходимости, validation) либо используйте CV. Если данные временные — используйте временное разбиение (TimeSeriesSplit).
2. Постройте pipeline, где все трансформации, использующие обучающую статистику, делаются внутри обучения:
- sklearn.pipeline.Pipeline с шагами: scaler → (sampler) → model.
- Для ресэмплинга используйте imblearn.pipeline.Pipeline (SMOTE и т.п.), чтобы ресэмплинг выполнялся внутри каждого фолда.
3. Кросс‑валидация и тюнинг:
- Используйте StratifiedKFold (или RepeatedStratifiedKFold) для сохранения доли классов в фолдах.
- Помещайте масштабирование, ресэмплинг и модель внутрь GridSearchCV/RandomizedSearchCV (pipeline передаётся в CV) — тогда fit выполняется отдельно на каждом фолде, утечки нет.
- Для гиперпараметрического отбора и оценки обобщающей способности рассмотрите nested CV (внутренний CV для тюнинга, внешний для оценки).
4. Пример архитектуры (псевдокод):
- Pipeline([('scaler', StandardScaler()), ('sampler', SMOTE()), ('clf', RandomForestClassifier(class_weight='balanced'))])
- GridSearchCV(pipeline, param_grid, cv=StratifiedKFold(...), scoring=chosen_metric)
Методы борьбы с несбалансированностью
- Взвешивание классов: many sklearn classifiers имеют параметр $\text{class\_weight=’balanced’}$ — эффективный старт.
- Ресэмплинг:
- Oversampling: SMOTE, ADASYN (генерация синтетических примеров), но всегда внутри CV.
- Undersampling: RandomUnderSampler, TomekLinks для удаления шумов.
- Комбинированные подходы (SMOTE + ENN).
- Алгоритмы, устойчивые к дисбалансу: BalancedRandomForest, XGBoost/LightGBM с параметром scale_pos_weight.
- Ансамбли из разных подвыборок: EasyEnsemble, BalancedBagging.
- Cost‑sensitive learning и пороговая настройка: оптимизация порога решения по бизнес‑метрике (precision/recall trade‑off).
Выбор метрик для редких событий (рекомендации)
- Precision: $\mathrm{Precision}=\frac{TP}{TP+FP}$ - Recall (Sensitivity): $\mathrm{Recall}=\frac{TP}{TP+FN}$ - F1-score: $F1=2\cdot \frac{\mathrm{Precision}\cdot \mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$ - Precision–Recall AUC / Average Precision (лучше чем ROC AUC при сильном дисбалансе).
- Precision@k (полезно, если важна верхняя часть ранжирования).
- Confusion matrix для понимания абсолютных ошибок.
- Brier score и калибровка (Platt/Isotonic) — если нужны корректные вероятности.
- ROC AUC можно смотреть, но при экстремальной редкости он часто вводит в заблуждение.
Практический чек‑лист
- Никогда не применяйте fit/transform всей выборке до разбиения.
- Встраивайте scaler и любые трансформации в pipeline, используемый в CV.
- Делайте ресэмплинг только на тренировочной части внутри CV (imblearn.Pipeline).
- Используйте стратифицированные фолды или временные сплиты при необходимости.
- Оценивайте модель по PR‑AUC / Average Precision и по бизнес‑метрикам (precision@k, recall при фиксированном пороге).
- При тюнинге используйте nested CV для честной оценки.
Если нужно, могу показать компактный пример кода sklearn/imblearn pipeline с CV и SMOTE.