Краткий, но полный ML‑конвейер для задачи мошенничества (доля мошеннических транзакций $0.5\%$) — по этапам.
1) Разведка данных и контроль утечек
- Оценить временную структуру, поля, которые явно содержат будущее (например, итоговые метки, агрегаты по будущему).
- Построить временную линию меток и распределений признаков по времени — искать резкие сдвиги.
- Группировки: клиенты/карты/устройства — отмечать потенциальную кросс‑утечку между train/test.
2) Предобработка
- Пропуски: простая стратегия — отдельная метка + импутация медианой/модой; для временных признаков импутировать только на основе прошлых значений.
- Масштабирование: RobustScaler/StandardScaler для моделей, чувствительных к масштабу; для деревьев можно не масштабировать.
- Выбросы: для чисел — лог/box‑cox, Winsorize или robust кластеризация; не удалять редкие мошенники без анализа.
- Кодирование категорий: target‑encoding с временным/постепенным сглаживанием, вычисляемым только на прошлом (see below); частые категории → one‑hot/embedding по частоте.
3) Feature engineering (ключ к успеху)
- Аггрегации по окнам времени (скользящие агрегаты): count, sum, mean, std, unique counts, time deltas (time since last tx), velocity features. Всегда считать агрегаты с использованием только прошлых данных.
- Поведенческие последовательности: фичи последовательного поведения (последние $n$ транзакций), RNN/Transformer/autoencoder при наличии последовательностей.
- Детектирование аномалий по профилю клиента: z‑score по встроенным агрегатам.
- Работа с корреляцией: удалить сильно коррелирующие признаки (корреляция выше порога, например $0.9$), либо применить PCA/Autoencoder для снижения размерности, если важно сохранить линейную структуру. Для мультиколлинеарности использовать VIF и удалять по VIF > порог.
- Feature selection: комбинировать модельную важность (SHAP) + стаб. отбор по кросс‑валидации.
4) Работа с несбалансированностью
- Предпочтение: cost‑sensitive обучение (веса классов, loss с весами, focal loss) и калибровка порога.
- Resampling: если используется — только в TRAIN внутри каждой временной fold: SMOTE/ADASYN (аккуратно при временных данных — может создать утечку), либо подвыборка отрицательных примеров (undersampling с сохранением распределения).
- Генерация синтетики лучше для пространств без временной зависимости; для временных — синтетические последовательности или data augmentation.
- Метрики и threshold tuning: оптимизация порога по бизнес‑метрике (например максимизация ожидаемого экономического эффекта).
5) Валидизация (основной момент из‑за утечки по времени!)
- Обязательное временное разделение: train/validation/test по времени (holdout последних периодов как тест).
- Time‑series cross‑validation (forward chaining): на каждом шаге модель тренируется на периодах до $t$ и валидируется на периоде $(t,t+\Delta ]$. Тюнинг гиперпараметров — внутри таких фолдов (nested CV при возможности).
- Grouping: если есть многократные транзакции по одному клиенту/карте, использовать GroupTimeSplit (не допускать одного клиента в train и val одновременно), либо обеспечить, что все транзакции одного клиента находятся в одной части.
- Валидация метрик по сменам распределений (drift): проверить стабильность метрик по временным отрезкам.
6) Метрики (рекомендуемые)
- Precision: $\text{Precision}=\frac{TP}{TP+FP}$
- Recall (TPR): $\text{Recall}=\frac{TP}{TP+FN}$
- F1: $F1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$
- PR AUC (average precision) — предпочтительнее ROC AUC при сильном дисбалансе.
- Precision@k / Recall@k или Recall при фиксированном FPR (например фиксировать FPR на уровне бизнес‑приемлемости).
- Экономическая метрика: ожидаемая экономическая польза/убыток $\mathbb{E}[\text{gain}]$ — строить матрицу стоимости и оптимизировать порог под неё.
- Отслеживать стабильность метрик по времени (drift).
7) Борьба с утечкой данных
- Удалять/перерабатывать признаки, которые инкапсулируют информацию о будущем (проверять датировку вычисления каждого признака).
- При target‑encoding использовать только прошлые метки: для транзакции в момент $t$ использовать агрегаты до $t-ϵ$. Реализовать с помощью expanding mean или K‑fold time‑aware encoding.
- Resampling и синтез данных — только внутри training fold, не использовать информацию из валидации/теста.
- Логирование и версионирование фичей: фиксировать, какие фичи были доступны в продакшене в момент времени.
8) Борьба с переобучением
- Регуляризация: $L1/L2$ для логистической регрессии/NN; ранняя остановка; ограничение глубины и min_samples_leaf для деревьев.
- Простота модели: сначала baseline (логит/LightGBM), добавлять сложность по валидации.
- Ансэмблирование: бэггинг (RandomForest), блендинг/стэкинг с осторожностью (стэкинг только с временной валидацией и отдельным OOF).
- Dropout/BatchNorm/регуляризация в нейросетях; ограничить количество признаков через отбор и reduce dimensionality.
- Мониторинг переобучения по обучению vs валидации и по временным фолдам.
9) Алгоритмы для рассмотрения
- Градиентный бустинг (primary): LightGBM, XGBoost, CatBoost — поддерживают веса, быстрые, хорошо работают с табличными данными.
- Линейные модели: регуляризованная логистическая регрессия (калибруется, fast baseline).
- Ансамбли деревьев и Random Forest.
- Нейросети: Tabular NN с embedding категорий; RNN/Transformer для последовательностей транзакций; Autoencoder для аномалий.
- Аномалийные модели (для редкой классовой информации): Isolation Forest, One‑Class SVM, Variational Autoencoder.
- Графовые модели: GNN/graph embeddings для связей между картами/устройствами/контактами.
- Cost‑sensitive и мета‑алгоритмы: focal loss, class‑weighted learners.
10) Производственный перенос и мониторинг
- Развертывание модели с возможностью обновлять фичи в реальном времени (скользящие агрегаты), поддерживать оффлайн/онлайн consistency (feature store).
- Мониторинг drift: distribution drift по ключевым признакам и метрикам производительности.
- Регулярная переобучение/ретренинг на новых данных с той же временной схемой валидации.
- Логирование объяснений (SHAP) для отслеживания изменений важности фич.
11) Практические рекомендации
- Оптимизация порога по бизнес‑метрике (не по макс F1) и использование PR AUC + precision@k.
- Избегать генерации синтетики, которая ломает временной порядок.
- Валидация должна имитировать продакшн (последовательный ре‑тайм).
- Документировать все шаги, проверки утечки, тесты воспроизводимости.
Если нужно — могу привести пример конкретного пайплайна с порядком операций и наборами гиперпараметров для LightGBM + target‑encoding + time‑split.