Коротко и по делу: при 1% позитивных «99% точности» не означает, что модель хороша — она может просто предсказывать все отрицательные. Ниже — что смотреть вместо accuracy, как бороться с дисбалансом на уровне данных и модели, и рабочий пример кода с правильной (и неправильной) кросс‑валидацией, объясняющий, почему важно избегать утечки данных.

1) Какие метрики информативнее, чем accuracy

Confusion matrix — базовый ориентир (TP, FP, FN, TN).Precision = TP / (TP + FP) — доля правильных положительных из предсказанных; важна, когда ложные срабатывания дорогостоящи.Recall (sensitivity, TPR) = TP / (TP + FN) — доля найденных позитивов; критично при поиске редких событий.F1 = 2 (precision recall) / (precision + recall) — гармоническое среднее precision и recall.Precision‑Recall AUC (average precision) — лучше отражает качество при сильном дисбалансе (PR‑кривая более информативна, чем ROC при низкой prevalence).ROC AUC — полезно, но может быть оптимистичной при сильном дисбалансе.Matthews Correlation Coefficient (MCC) — устойчив к несимметрии классов, хорошо для общего взгляда.Balanced accuracy = (TPR + TNR)/2 — корректирует «смещение» accuracy.Precision@k / recall@k / lift — бизнес‑метрики: что происходит в топ‑k предсказаний.Calibration / Brier score — насколько вероятности хорошо откалиброваны (важно, если используете пороги и вероятности).

2) Как бороться с дисбалансом — уровни и методы

A. Уровень данных (sampling / генерация)

Random undersampling — уменьшает majority; просто, но теряется информация.Random oversampling — дублирует minority; может привести к переобучению.SMOTE (synthetic minority over‑sampling) — генерирует синтетические объекты между соседями класса; часто лучше, чем простое дублирование.Варианты SMOTE: SMOTEENN, SMOTETomek (очищают примеры после генерации), Borderline‑SMOTE, ADASYN.Генерация через GAN/VAE — может давать более реалистичные синтетические примеры, но сложнее и риск «плохих» образцов.Комбинации: undersample + SMOTE / SMOTE + cleaning — часто дают баланс между разнообразием и шумом.Примечание: при генерации учитывать особенности признаков (категориальные, временные и т.п.), иначе получите мусор.

B. Уровень модели (algorithmic / loss)

Class weights / sample weights — большинство алгоритмов (sklearn, XGBoost, LightGBM) поддерживают взвешивание класса (class_weight='balanced' или scale_pos_weight).Специальные функции потерь: focal loss (для нейросетей) — фокус на сложных примерах; cost‑sensitive loss (задаёте разные штрафы за FN и FP).Threshold tuning — меняйте порог принятия решения (не обязателен 0.5) под цель (максимум recall при приемлемой precision и т.д.).Ансамбли для дисбаланса: EasyEnsemble, BalancedBaggingClassifier, RUSBoost.One‑class / anomaly detection (если задача скорее обнаружение аномалий).

C. Практические приемы

Стратифицированная кросс‑валидация (StratifiedKFold) — сохраняет распределение классов в фолдах.Калибровка вероятностей (calibration) если используете пороги и вероятности.OHE / scaling / target encoding / feature selection — всё это должно выполняться внутри CV (pipeline), иначе утечка.Оценка на отложенном (hold‑out) наборе, который не использовался при ресемплинге/тюнинге.

3) Почему важно избегать утечки данных при кросс‑валидации
Если вы выполняете ресемплинг (например, SMOTE), масштабирование или целевое кодирование до разделения на трейн/валидацию, информация из валидационных примеров может попасть в синтетические или преобразованные тренировочные объекты. Это даёт оптимистичную оценку качества (вы «учитесь» по факту на тестовой информации). Правильный подход — поместить все операции (scaling, encoders, resampling) в Pipeline и выполнять CV над pipeline, чтобы трансформации обучались только на тренировочной части каждого фолда.

4) Пример кода (правильно) — sklearn + imbalanced‑learn
Ниже — рабочий пример: SMOTE внутри pipeline + StratifiedKFold + кросс‑предсказания вероятностей для вычисления PR‑AUC и классификационного отчёта.

Пример (Python):

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import StratifiedKFold, cross_val_predict
from sklearn.metrics import precision_recall_curve, average_precision_score, classification_report, confusion_matrix
from imblearn.pipeline import Pipeline
from imblearn.over_sampling import SMOTE
# X, y — ваши данные
clf = RandomForestClassifier(n_estimators=200, random_state=42, class_weight=None)
pipeline = Pipeline([
('smote', SMOTE(random_state=42)),
('clf', clf)
])
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
# Полезно получить предсказанные вероятности в кросс‑валидации без утечки:
probas = cross_val_predict(pipeline, X, y, cv=skf, method='predict_proba', n_jobs=-1)[:, 1]
# PR AUC (average precision)
ap = average_precision_score(y, probas)
print('Average precision (PR AUC):', ap)
# Выбрать порог по нужному критерию (например, максимизировать F1)
precision, recall, thresholds = precision_recall_curve(y, probas)
f1_scores = 2 * precision * recall / (precision + recall + 1e-12)
best_idx = f1_scores.argmax()
best_thresh = thresholds[best_idx]
print('Best F1 threshold:', best_thresh, 'F1:', f1_scores[best_idx])
# Получить предсказания по выбранному порогу и оценить
y_pred = (probas >= best_thresh).astype(int)
print(classification_report(y, y_pred))
print('Confusion matrix:\n', confusion_matrix(y, y_pred))

Неправильный (и распространённый) вариант — сделать SMOTE до CV:

X_res, y_res = SMOTE(random_state=42).fit_resample(X, y)
# затем cross_val_score или cross_val_predict на X_res, y_res
# --> утечка: часть синтетики сгенерирована с учётом всех данных, в т.ч. тех, которые попадут в тест‑фолды

Это даст переоптимистичные метрики.

5) Дополнительные практические рекомендации

Если класс очень редкий (1%), подумайте о стратегиях оценки: Precision@k или доле найденных позитивов в топ‑N, потому что обычные агрегированные метрики могут скрыть поведение.Сравнивайте несколько подходов (class_weight vs SMOTE vs ensemble) на одном честном hold‑out.Будьте осторожны с генерацией синтетики для временных рядов или связанных данных (нужны специализированные методы).Документируйте бизнес‑затраты на FN vs FP и выбирайте оптимальный порог по этим затратам, а не просто по F1.Используйте calibration (CalibratedClassifierCV) если вам нужны корректные вероятности.

Если хотите, могу:

Подобрать конкретную стратегию (какая комбинация SMOTE/undersample/взвешивание/модель) для ваших данных, если пришлёте пример признаков/размер выборки.Привести пример настройки focal loss для нейросети или настройки scale_pos_weight для XGBoost/LightGBM.