Короткая формулировка задачи
- Задача: при заданном времени $t$ и истории сигналов машины предсказать, будет ли в интервале прогнозирования длины $H$ отказ. Формально метка
$$y_t=\{\begin{array}{ll}1,& \text{если отказ произошёл в}(t,t+H],\\ 0,& \text{иначе.}\end{array}$$
Какие данные собирать
- Сенсорные данные (вибрация, температура, давление, ток, скорость и т.д.) с временными метками и частотой измерений.
- Логи событий: тревоги, перестановки, переключения режимов.
- Записи об отказах/ремонтах: точное время отказа, тип отказа, причина, длительность простоев.
- Операционные параметры и нагрузки (режим работы, скорость производства, материалы).
- Инспекции и профилактическое обслуживание (когда и что делали).
- Метаданные о оборудовании: модель, возраст, конфигурация, установка.
- Качество данных: пропуски, шум, синхронизация сенсоров; хранить raw + агрегаты.
Подготовка меток и фичей
- Определить окно прогноза $H$ и lead time (минимальное время оповещения).
- Создавать временные окна/скользящие агрегаты: среднее, min/max, std, тренды, градиенты, частотные признаки (FFT), спектральные коэффициенты.
- Включать фичи состояния и времени до/после последнего обслуживания.
- Обрабатывать цензуру: если нет фиксации отказа для некоторой машины — отмечать как цензурированное наблюдение (для survival-моделей).
Как решать проблему несбалансированности классов
- Построение меток и выбор горизонта $H$ так, чтобы позитивы были информативны (избегать очень редких положительных меток, храня при этом бизнес-важный lead time).
- Сэмплирование:
- Oversampling позитивных примеров (повтор, SMOTE, ADASYN) или генерация синтетических аномалий.
- Undersampling отрицательных примеров (сохранить разнообразие отрицательных классов).
- Комбинация (bagging с balanced bootstrap).
- Алгоритмические подходы:
- Веса классов в функции потерь (weighting): увеличить вес ошибок на позитиве.
- Focal loss: $\mathrm{FL}(p_t)=-(1-p_t{)}^{\gamma }\log p_t$ для смещённого внимания на редкие позитивы.
- Специализированные модели: Balanced Random Forest, XGBoost с scale_pos_weight, ансамбли/стэкинг.
- Аномалийные подходы (one-class SVM, автоэнкодеры) если дефекты редки и многократно отличимы по паттерну.
- Survival/целевая функция времени до отказа (Cox, DeepSurv) для учета цензуры и прогнозирования времени до события.
- Cost-sensitive подход: прямо минимизировать ожидаемые потери с матрицей штрафов (FN дороже FP).
- Валидация: стратифицированная по классам в пределах временных блоков, либо time-series split (см. ниже).
Какие метрики выбирать и почему
- Для несбалансированных задач основные метрики на уровне бинарной классификации:
- Precision: $\mathrm{Precision}=\frac{TP}{TP+FP}$.
- Recall (TPR): $\mathrm{Recall}=\frac{TP}{TP+FN}$.
- F1: $F1=2\cdot \frac{\mathrm{Precision}\cdot \mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$.
- F$\beta$ при важности recall: ${\mathrm{F}}_{\beta }=(1+{\beta }^2)\frac{\mathrm{Precision}\cdot \mathrm{Recall}}{{\beta }^2\mathrm{Precision}+\mathrm{Recall}}$.
- Precision–Recall AUC (AP): лучше отражает качество при сильном дисбалансе, чем ROC AUC.
- ROC AUC: полезна, но может быть оптимистичной при сильном дисбалансе.
- Matthews correlation coefficient (MCC): $\mathrm{MCC}=\frac{TP\cdot TN-FP\cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}$ — устойчива к дисбалансу.
- Для задач с временным аспектом/предсказанием момента отказа:
- Concordance index (C-index) для survival-моделей.
- Time-dependent metrics: recall@lead_time, precision@k, ранжирование риска по машинам.
- Средний lead time (сколько заранее предсказывается отказ) и доля предсказанных отказов с достаточным lead time.
- Бизнес-ориентированные метрики:
- Стоимостная функция: expected cost = $C_{FN}\cdot FN+C_{FP}\cdot FP$ и оптимизация порога по минимизации стоимости.
- KPI по простою и по предотвращённым отказам.
Протокол оценки и валидация
- Time-aware split: train/validation/test по времени, избегать утечки из будущего. Использовать rolling window CV или forward chaining.
- Стратификация по машинам: проверять generalization на новых машинах/площадках (leave-one-machine/plant-out).
- Оценивать агрегированно и по-единично: средние метрики по машинам и глобальные.
- Подбирать порог на валидации с учётом бизнес-стоимостей (максимизация F$\beta$ или минимизация expected cost).
Краткие рекомендации
- Соберите качественные метки отказов и логи ремонта — без них модель бесполезна.
- Сначала простая базовая модель с class weights и time-aware CV; затем пробуйте sampling, focal loss, survival-подходы и аномалийные детекторы.
- В оценке делайте упор на PR-AUC, recall при допустимом уровне FP и на business cost.