Кратко и по делу — различия, примеры задач, критерии выбора и метрики.
1) Что такое (и ключевые отличия)
- Supervised learning: модель обучается на размеченных парах вход–выход $(x_i,y_i)$. Цель — аппроксимировать функцию $f:x\mapsto y$. Подходы: классификация, регрессия, структурное предсказание.
- Unsupervised learning: нет меток $y$; задача — найти структуру/распределение данных, уменьшить размерность, сгруппировать или оценить плотность. Модель изучает свойства распределения $p(x)$ или латентные представления.
- Reinforcement learning (RL): агент принимает действия $a_t$ в среде, получает наблюдение $s_t$ и вознаграждение $r_t$; цель — максимизировать кумулятивную награду $G_t={\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k}$. Обучение происходит через взаимодействие (онлайн) или через оффлайн истории (trajectories).
2) Примеры задач
- Supervised:
- Классификация: спам/не спам, классификация изображений.
- Регрессия: прогноз цены дома, прогноз спроса.
- Sequence labeling: POS-теггинг, NER.
- Unsupervised:
- Кластеризация: сегментация клиентов.
- Снижение размерности: PCA/t-SNE/UMAP для визуализации.
- Обучение представлений/автокодировщики, тематическое моделирование (LDA).
- Оценка плотности/генерация: GMM, VAE, GAN.
- Аномалия/выбросы: детектор переносов, автоэнкодер.
- Reinforcement learning:
- Игры: Atari, Go, шахматы.
- Управление роботами: управление манипуляторами, ходьба.
- Последовательные рекомендации и таргетирование (с учётом откликов).
- Оптимизация трафика, управление запасами.
3) Критерии выбора метода
- Наличие и стоимость меток: если есть много надёжных $y$ — supervised; если нет меток и цель — структура/представление — unsupervised; если задача — управление/последовательное принятие решений с наградами — RL.
- Тип задачи: предсказание одного шага (supervised), анализ/кластеризация (unsupervised), долгосрочные цели и зависимость от действий (RL).
- Характер обратной связи: слабая/неявная обратная связь → RL или формирование сигнала через самосупервизию.
- Динамика среды: если среда изменчива и действия влияют на будущие состояния — RL предпочтителен.
- Ресурсы: RL часто требует много взаимодействий/вычислений; если мало данных — предпочесть методы с регуляризацией, transfer learning или симуляции.
- Интерпретируемость и требования к безопасной работе: иногда предпочтительнее supervised/интерпретируемые модели.
- Возможность смешения: semi-/self-supervised, использование представлений из unsupervised для downstream supervised задач; imitation learning как гибрид RL и supervised.
4) Метрики оценки (по типам задач)
- Supervised classification:
- Accuracy, Precision, Recall, F1-score.
- ROC AUC, PR AUC (особенно при классовом дисбалансе).
- Логарифмическая/кросс-энтропийная потеря $L=-\frac{1}{N}{\sum }_i{\sum }_c{y}_{i,c}\log {\hat{p}}_{i,c}$.
- Supervised regression:
- MSE $=\frac{1}{N}{\sum }_i(y_i-{\hat{y}}_i{)}^2$, RMSE, MAE, $R^2$.
- Unsupervised clustering:
- Внутренние метрики: silhouette score, Davies–Bouldin.
- Внешние (при наличии эталонных меток): ARI (Adjusted Rand Index), NMI.
- Dimensionality reduction / reconstruction:
- Reconstruction error (MSE), explained variance, likelihood (для probabilistic models).
- Generative models:
- Log-likelihood (если применимо), FID (для изображений), Inception Score.
- Anomaly detection:
- Precision@k, ROC/PR AUC для меток аномалий, среднее время обнаружения.
- Reinforcement learning:
- Средняя возвращаемая награда на эпизод $\mathbb{E}[G]$ (или средняя по тестовым средам).
- Стейбильность/вариативность обучения (variance of returns).
- Sample efficiency (наградный прогресс vs число шагов/эпизодов).
- Regret (в задачах онлайн-оптимизации), success rate, average episode length.
- Для оффлайн RL: off-policy evaluation метрики — importance sampling (IS), doubly robust (DR).
- Общие практики:
- Для supervised: кросс-валидация, stratified split при несбалансированных классах.
- Для unsupervised: если возможны внешние метки — используйте их для объективной оценки.
- Для RL: оценка на независимых средах/seed'ах, статистические интервалы, сравнение кривых обучения.
5) Практические советы выбора
- Если цель — предсказать конкретный целевой показатель и есть метки — начинайте с supervised. Оценка: cross-val и соответствующие метрики (accuracy/MSE/ROC AUC).
- Если меток нет и нужно понять структуру или получить представления — unsupervised (или self-supervised для последующей supervised дообучения).
- Если действия агента влияют на будущие наблюдения и нужны долгосрочные цели — RL (учитывайте стоимость взаимодействия и безопасность).
- Хибриды: используйте unsupervised/self-supervised представления + supervised для повышения эффективности; imitation learning когда имеются демонстрации; offline RL при наличии логов взаимодействий.
Если нужно — могу для вашей конкретной задачи порекомендовать подход и набор метрик.