Принципы обучения с подкреплением (КР)
- Формализация: среда задаётся как MDP с состояниями $s$, действиями $a$, переходами $P(s^{\prime }|s,a)$ и вознаграждением $r$.
- Политика: стохастическая или детерминированная $\pi (a|s)$ — правило выбора действий.
- Цель: максимизировать ожидаемую дисконтированную сумму вознаграждений (возврат)
$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+1},0\le \gamma <1.$$ - Функции ценности: состояние $V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t|s_t=s]$ и действие‑значение $Q^{\pi }(s,a)$.
Bellman для $V^{\pi }$:
$$V^{\pi }(s)={\mathbb{E}}_{\pi }[r_{t+1}+\gamma V^{\pi }(s_{t+1})\mid s_t=s].$$ - Методы: модель‑свободные (Q‑learning, SARSA, Policy Gradient, Actor‑Critic), модель‑основанные (учим/используем $P$ и $r$).
- Ключевые проблемы: исследование/эксплуатация, частичная наблюдаемость, масштабируемость, стабильность обучения, оценка и обобщение.
Пример задачи: управление трафиком светофоров
- Цель: минимизировать задержки/очереди/количество остановок через управление фазами светофора.
Формулировка MDP
- Состояние $s_t$: вектор признаков в момент $t$, например
$$s_t=(q_{1,t},\dots ,q_{N,t},{\varphi }_t,{\tau }_t),$$ где $q_{i,t}$ — длина очереди на входной полосе $i$, ${\varphi }_t$ — текущая фаза, ${\tau }_t$ — время с момента её установки. Можно добавить скорость, поток машин, пешеходные запросы, данные детекторов.
- Действия $a_t$: переключение фаз или продление текущей фазы. Примеры:
$$a_t\in \{\text{оставить текущую фазу (extend)},\text{переключить на фазу}k,k=1\dots K\}.$$ - Вознаграждение $r_t$: зависит от метрики. Популярные варианты:
- отрицание суммарных очередей
$$r_t=-\sum _{i=1}^N{q}_{i,t};$$ - отрицание суммарного времени ожидания/задержки в интервале;
- «давление» (max‑pressure) — разность входных и выходных очередей по направлениям;
Выбор вознаграждения влияет на поведение агента (устранение заторов vs. пропускная способность).
- Переходы: зависят от потоков входа (стохастичны), сигналов светофора и поведения водителей.
Возможные сложности при обучении и способы смягчения
- Частичная наблюдаемость: сенсоры дают неполную картину (решение: использовать рекуррентные сети / скрытое состояние, POMDP‑подход).
- Большое пространство состояний/действий: комбинаторный рост при сети перекрёстков (решение: аппроксимация функций (NN), дискретизация, факторизация, централизованное обучение — децентрализованное выполнение).
- Многопользовательская/многоагентная природа: действия в соседних перекрёстках влияют друг на друга → нестабильность/нестационарность (решение: централизованное обучение с дек.процессом, коммуницирующие агенты, согласованные цели).
- Разреженные и задержанные вознаграждения: эффект действия виден позже (решение: shaping вознаграждения, короткие шаги, использование критиков/Monte‑Carlo оценок).
- Исследование в реальном трафике опасно/дорого: случайные действия создают пробки (решение: обучение в симуляторах, безопасное исследование, имитационное обучение или warm‑start от эвристик).
- Симуляция → реальность (sim2real): модели потоков в симуляторе отличаются от реальных (решение: домен‑рандомизация, адаптация на реальных данных, периодическая донастройка).
- Выбор и масштабирование вознаграждения: плохо подобранное $r$ приведёт к непредсказуемому/небезопасному поведению (решение: комбинировать несколько метрик, ограничения и штрафы за аварийные состояния).
- Обучение требует много данных/вычислений: использовать experience replay, таргет‑сети, архитектуры с локальной агрегацией; алгоритмы sample‑efficient (PPO, SAC, off‑policy с буферами).
Короткие рекомендации практической реализации
- Тренировать в реальномистичном симуляторе (SUMO, CityFlow), начать с простых состояний/вознаграждений.
- Warm‑start от правил (e.g. фиксированные циклы) и постепенное усложнение.
- Оценивать по реальным метрикам: средняя задержка, пропускная способность, время поездки, стабильность.
- Для сети перекрёстков рассмотреть централизованное обучение — децентрализованное выполнение (CTDE) и согласованные вознаграждения.
(Все ключевые формулы выше записаны в стандартной RL нотации.)