Краткая методика выбора + обоснование гиперпараметров, валидации и борьбы с переобучением для прогнозирования временного ряда продаж с сезонностью и пропусками.
1) Диагностика и критерии выбора модели
- Объём данных (число наблюдений N и частота). Если $N$ мало — предпочесть простые модели (линейная регрессия, деревья). Для больших $N$ и сложных нелинейных зависимостей — нейросеть.
- Сложность паттернов: если зависимости близки к линейным + явная сезонность — линейная регрессия; если есть пороги, взаимодействия, негладкие эффекты — решающее дерево/ансамбли; если нелинейность высокая и есть много внешних фич — NN.
- Пропуски: деревья (и градиентные бустинги) устойчивы к пропускам; для LR/NN требуется имputation или индикаторы пропусков.
- Интерпретируемость/скорость: LR > деревья > NN.
2) Предобработка и фичи (обязательно)
- Заполнение пропусков:
- Простые: прямой перенос (forward/backward fill) или линейная интерполяция для коротких пропусков.
- Для LR/NN: модельная импутация (e.g. KNN, MICE) или экспоненциальное сглаживание; добавить индикатор пропуска: для каждой фичи $x$ — флаг $m_x(t)=1_{\{\text{missing}\}}$.
- Для деревьев можно оставить NaN, либо использовать специальную метку.
- Сезонность и тренд:
- Разложение/дифференцирование: сезонное отличие $y_t^{\prime }=y_t-y_{t-S}$ (где $S$ — сезонный период).
- Сезонные признаки: секундные/месячные дамми $D_s(t)$ или приближённо корректные гармоники: добавить Fourier-термы $\sin (2\pi kt/S),\cos (2\pi kt/S)$.
- Лаги и скользящие статистики: включить лаги $\{y_{t-1},...,y_{t-p}\}$ и агрегаты (rolling mean/std) на окнах $\{7,30,90\}$ или кратных сезонов.
- Нормализация: для NN обязательна (z-score или min-max); для деревьев не нужна.
3) Базовый план проверки моделей (пошагово)
- Начать с простых baseline: Naive сезонный прогноз ${\hat{y}}_{t+h}=y_{t+h-S}$.
- Линейная регрессия (с регуляризацией): модель
$$y_t={\beta }_0+\sum _{k=1}^p{\beta }_k{y}_{t-k}+\sum _s{\gamma }_s{D}_s(t)+{\epsilon }_t.$$ Регуляризация: Ridge/Lasso с оптимизацией
$$\underset{\beta }{\min }\sum _t(y_t-X_t\beta {)}^2+\lambda \Vert \beta {\Vert }_q^q,q=2(\text{Ridge})\text{или}q=1(\text{Lasso}).$$ - Дерево / бустинг (например, XGBoost, LightGBM, CatBoost) с теми же лагами/фичами.
- NN (если нужно): простая fully-connected или TCN/LSTM/1D-CNN с входами лагов и exogenous features.
4) Стратегия валидации (обязательно временно-ориентированная)
- Rolling (expanding) window cross-validation: для шагов прогноза $h$ использовать несколько "origin" точек. Например, для i-го прогноза учить на $[\mathrm{1..}{t}_i]$, тестировать на $[t_i+\mathrm{1..}{t}_i+h]$.
- Альтернатива: blocked K-fold по времени (не перемешивать).
- Оценочные метрики: MAE, RMSE, MAPE (если нет нулей), либо бизнес-метрика. Выбирать модель по среднему на CV.
- Подбор гиперпараметров проводить с time-series aware CV (каждый набор параметров тестировать на тех же роллингах).
5) Подбор гиперпараметров — диапазоны и обоснование
- Линейная регрессия (Ridge/Lasso):
- $\lambda$ (регуляризация): лог-шкала $[10^{-5},10^2]$. Для высокоразмерных лагов и мультиколлинеарности — сильнее (ближе к $10^{-1}\dots 10^1$).
- Количество лагов $p$: от $S$ до $2S$ (где $S$ — сезонный период); тестировать с CV.
- Дерево/Boosting:
- max_depth: $3\dots 10$ (меньше — сглаживает, больше — переобучение).
- min_samples_leaf (или min_child_weight): связь с шумом, диапазон $5\dots 50$.
- n_estimators: $100\dots 1000$ (для бустинга) + learning_rate $0.01\dots 0.1$.
- subsample/colsample_bytree: $0.6\dots 1.0$ для снижения переобучения.
- Регуляризация: L2 lambda $10^{-5}\dots 10$.
- Нейронная сеть:
- Архитектура: 1–3 слоя, units $16\dots 256$ (много зависит от N).
- Dropout: $0.1\dots 0.5$.
- Weight decay (L2): $10^{-5}\dots 10^{-3}$.
- Learning rate: $10^{-4}\dots 10^{-2}$, Adam/AdamW.
- Batch size: $32\dots 256$.
- Количество эпох с ранней остановкой (early stopping по валидации, patience 5–20).
- Если сезонность сложная — рассмотреть TCN или seq2seq; для простых лагов — FNN.
- Общая рекомендация: сначала гребеньный (random/bayesian) поиск по широким границам с небольшим числом CV-итераций, затем уточнить.
6) Борьба с переобучением (конкретные меры)
- Модели:
- LR: регуляризация (Ridge/Lasso/ElasticNet), отбор фич (Lasso, Boruta), PCA при высокой размерности.
- Деревья: ограничение глубины, увеличение min_samples_leaf, subsampling, ранняя остановка по валидации, ансамбли (bagging/boosting) вместо одиночного глубокого дерева.
- NN: dropout, L2 (weight decay), batch normalization, ранняя остановка, уменьшение числа параметров, data augmentation (временные окна с сдвигом).
- Общие:
- Правильная временная валидация (чтобы не было утечек).
- Уменьшение размерности фичей и удаление сильно коррелированных / шумных признаков.
- Ensembling нескольких подходов (стэкинг LR+GBM/NN) с валидацией на временах.
- Регулярный мониторинг автокорреляции остатков; если есть систематические автокорреляции — добавить лаги или AR-компонент.
- Для пропусков: не применять имputation, приводящее к утечке информации; если используется модельная импутация — формировать её только на обучающей выборке и повторять при тесте.
7) Критерий финального выбора
- Сравнить на одном и том же rolling CV: метрики (MAE/RMSE), стабильность между окнами, остатки (Ljung–Box тест), простота/стоимость эксплуатации.
- Правило упрощения: если разница в метриках малa ($<5\%$) — выбрать более простую/интерпретируемую модель.
- Если бизнес-требования диктуют быстрые обновления / ограниченный compute — выбирать модели с меньшей задержкой обучения/предсказания.
8) Эксплуатация и мониторинг
- План переобучения: переобучать по расписанию или по сигналу дрейфа (падение метрики на holdout).
- Мониторинг остатков, распределения входов (drift), и частоты пропусков.
- Логировать предсказания + реальные значения для ретроспективной оценки.
Короткая последовательность действий для практики
1. Baseline: сезонный naive.
2. LR с лагами + регуляризация + импутация + rolling CV.
3. Tree/Boosting (те же фичи) + time-aware hyperopt.
4. NN, если большие данные / сложная нелинейность.
5. Выбор по CV + стабильности + бизнес-ограничения; применить регуляризацию/ensembling и мониторить.
Если нужно — могу предложить конкретные параметры поиска для вашего набора данных (N, частота, S, доля пропусков).