Сформулирую две версии задачи (обучение с учителем и без учителя) на примере обнаружения мошенничества в банковских транзакциях; для каждой дам: постановку, подходящие модели, признаки, подготовку данных и способы оценки качества.
1) Обучение с учителем — бинарная классификация
- Постановка:
- Дано множество транзакций $X=\{x_i{\}}_{i=1}^N$ и метки $y_i\in \{0,1\}$ (0 — нормальная, 1 — мошенничество). Нужно обучить модель $f(x)$ дающую вероятность мошенничества $p(x)=P(y=1\mid x)$.
- Целевая функция (пример — кросс-энтропия):
$$\mathcal{L}=-\frac{1}{N}\sum _{i=1}^N[y_i\log p(x_i)+(1-y_i)\log (1-p(x_i))].$$ - При сильном дисбалансе добавляют веса: $w_1$ для положительных, $w_0$ для отрицательных.
- Модели:
- Простые/быстрые: логистическая регрессия (с регуляризацией), стох. градиентный бустинг (XGBoost, LightGBM, CatBoost), случайный лес.
- Более сложные: нейросети (feed-forward, табличные embedding-слои), градиентные модели с таргет-энкодингом, графовые нейросети для связей между картами/мерчантами.
- Для онлайн/низкой задержки — облегченное дерево или логрегрессия; для максимального качества — LightGBM / CatBoost + постобработка.
- Признаки (примерный набор):
- Событийные: сумма транзакции, валюта, время суток, день недели, тип операции, канал (POS/online/ATM).
- Поведенческие/агрегированные: сумма за последние 1/7/30 дней, число транзакций за последние часы/дни, средняя сумма, медиана, скорость (транзакций/час).
- Контекстные: регион/город карты vs. мерчанта, IP-гео, device fingerprint, BIN банка, MCC.
- Исторические/профили: возраст клиента, score, количество chargeback в прошлом, целевые признаки (target encoding) по мерчантам/merchant-category.
- Инженерия: отношения $\frac{\text{сумма текущей}}{\text{средняя сумма клиента}}$, z‑оценки, лаги, флаги атипичности.
- Графовые признаки: число связанных карт/мерчантов, метрики центральности.
- Подготовка данных:
- Очистка: дедупликация, фильтр тестовых/тренировочных аномалий, обработка пропусков (импутирование по медиане/категории).
- Кодирование категорий: target-encoding (с регуляризацией), count/frequency, one-hot для редких категорий — embedding в нейросетях.
- Масштабирование числовых признаков (RobustScaler) при необходимости.
- Работа с дисбалансом: class weights, SMOTE/ADASYN (с осторожностью), undersampling отрицательных с сохранением временной структуры.
- Временная аккуратность: разделять данные по времени (train ← past, test ← future) чтобы избежать утечки.
- Учесть задержку маркировки (label latency): обучение на тех данных, где метка окончательно подтверждена.
- Оценка качества:
- Основные метрики при редком позитиве: precision, recall, F1, PR-AUC (area under precision-recall) — предпочтительнее ROC-AUC при сильном дисбалансе.
$$\mathrm{Precision}=\frac{TP}{TP+FP},\mathrm{Recall}=\frac{TP}{TP+FN},F1=2\frac{\mathrm{Precision}\cdot \mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}.$$ - Precision@k / top-k alerts:
$$Precision@k=\frac{\#\text{истинных мошен. среди топ-}k}{k}.$$ - Бизнес-ориентированные: ожидаемая стоимость ошибок
$$\mathrm{Cost}=c_{FN}\cdot FN+c_{FP}\cdot FP,$$ где $c_{FN},c_{FP}$ — стоимость пропущенной и ложной тревоги.
- Кросс-валидация: time-series split (скользящий по времени), не случайный K-fold.
- Калибровка вероятностей (Platt/isotonic) и мониторинг дрифта модели/признаков.
- Интерпретируемость: SHAP/feature importance для объяснений и проверки логики.
- Практические замечания:
- Избегать утечки признаков из будущего; учитывать задержку фактических меток (chargeback).
- Ввести feedback loop: ручная верификация топ-алертов для дообучения.
- Постоянный monitoring метрик (TPR, FPR, precision@k) и тест на концептуальный дрейф.
2) Обучение без учителя — обнаружение аномалий
- Постановка:
- Дано множество транзакций $X=\{x_i\}$ без меток. Нужно выявить аномалии/аномальные шаблоны, возвращая аномалийный скор $s(x)$ и ранжируя транзакции по нему; решения служат для приоритизации ручной проверки.
- Частный случай: обучение на "нормальных" данных и поиск отклонений.
- Модели/подходы:
- Локальные/плотностные: Local Outlier Factor (LOF), kNN distance.
- Isolation Forest (IF): деревья изоляции, выдаёт аномалийный скор $s_{\text{IF}}(x)$.
- One-Class SVM: обучение границы множества нормальных точек.
- Autoencoder (AE) / Variational AE: обучить реконструкции нормальных транзакций; аномалии — большие ошибки реконструкции:
$$\mathrm{err}(x)=\Vert x-\hat{x}{\Vert }^2.$$ - Deep SVDD, Contrastive/self-supervised методы: обучить представление, где нормальные близко, а аномалии далеки.
- Clustering: k-means (высокое расстояние до центров — аномалия).
- Графовые подходы: выявление необычных связей в сети карт/мерчантов (subgraph anomalies).
- Признаки:
- Аналогичны supervised — числовые/категориальные признаки и агрегаты. Для AE/IF полезны нормализованные признаки и embedding категорий.
- Для методов расстояния важно масштабирование/робастное нормирование.
- Подготовка данных:
- Очистка, дедупликация, удаление явных шумов.
- Если можно — сформировать «чистую» подвыборку нормальных транзакций (например, по малому числу chargebacks) и обучать на ней.
- Кодирование категорий: frequency encoding или обучаемые embedding'и; для LOF/IF — предпочтительно числовые векторы.
- Выбор параметра contamination (ожидаемая доля аномалий) для IF/LOF.
- Оценка качества (когда меток нет):
- Создать валидационный набор с метками: исторические известные мошенничества или синтетически сгенерированные аномалии для проверки.
- Оценка через human-in-the-loop: разметка top-k результатов и расчёт Precision@k.
- Если часть меток есть, использовать PR-AUC/ROC-AUC и precision@k.
- Метрики ранжирования: average precision, MAP.
- Введение A/B тестирования в продакшн: сравнить бизнес-метрики (снижение убытков, load на аналитиков) при использовании модели.
- Практические замечания:
- Часто сочетать unsupervised для обнаружения новых паттернов с supervised для проверки известных паттернов.
- Unsupervised генерирует много ложных тревог — нужно tune contamination и пороги, а также приоритизация по скору и бизнес-оценке.
- Построить цикл разметки: analyst feedback → пополнение labeled dataset → трансфер в supervised pipeline.
Короткая сводка по pipeline (общая для обеих схем):
- Инжест и хранилище признаков (feature store), базовые проверки качества данных.
- Предпроцессинг: кодирование, масштабирование, агрегации по сессиям/карте.
- Разделение по времени, обучение/валидация, подбор порога по бизнес-метрикам.
- Развертывание с возможностью online-scoring и очередью для ручной проверки.
- Feedback loop: сбор верных/ложных срабатываний → дообучение; мониторинг дрейфа и переобучение по расписанию.
Если нужно — могу предложить конкретный набор признаков и пример схемы временного сплитования или конфигурации LightGBM/Autoencoder для ваших данных.