Коротко и по существу — сравнение, какие знания хранить явно, где учиться, и как гибридизировать для надёжности.
1) Ключевые различия (символический подход vs RL)
- Символический (планирование, правила, MPC, формальные методы)
- сильные стороны: гарантии, интерпретируемость, соблюдение ограничений (трафик‑правила, безопасность), детерминированность поведения при известных моделях;
- слабые стороны: хрупкость при неопределённости в восприятии и сложных/стохастических динамиках, требовательность к точным моделям.
- Обучение с подкреплением (RL)
- сильные стороны: адаптация к сложным, стохастическим средам, умеет извлекать стратегии из опытных данных, хорош для непрерывных/высокоразмерных политик;
- слабые стороны: без гарантий безопасности, чувствителен к дистрибуциям данных, требует много данных/симуляций, менее интерпретируем.
2) Какие типы знаний полезно хранить явно
- Геометрия и карты: локальная и глобальная карта, топологические графы, препятствия — для быстрого планирования пути.
- Кинематика/динамика платформы: ограничения управления, границы скорости/ускорения, управляемость — $x_{t+1}=f(x_t,u_t,w_t)$ (или их верифицированные приближения).
- Безопасностные ограничения и правила: коллизии, зоны безопасности, правила приоритета, формальные спецификации (LTL/SeL) и ограничения затрат $c_t$.
- Модели обязательств/контрактов: что гарантировать при сбое (фолбеки, безопасная остановка).
- Семантическая информация и карты риска (зоны с движением пешеходов, перекрёстки) для приоритизации.
- Шаблоны поведения людей/транспортных средств в виде вероятностных моделей (если надёжно оцениваются).
3) Где полезно применять обучение
- Восприятие: детекторы, сегментация, одометрия — учить нейросетям, лучшие при обилии данных.
- Прогнозирование динамики других агентов: вероятностные предикторы траекторий, социальные модели; полезны для стохастического планирования.
- Аппроксимация стоимости/ценности и политики в высокоразмерных частях пространства — $V^{\pi }(s)=\mathbb{E}\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t\right]$.
- Обучение локальных контроллеров/манёвров (невырожденные, сложные манёвры) и снижения размерности для планера (learned heuristics).
- Адаптация моделей среды (learned dynamics $\hat{f}$), сим2real через domain randomization.
- Инициализация/улучшение планеров через имитацию: behavioural cloning $\to$ fine‑tune RL.
4) Как объединять для повышения надёжности (архитектуры и приёмы)
- Модульная гибридная архитектура:
- perception (learned) $\to$ world‑model / belief (явно, вероятностно) $\to$ symbolic planner / task planner (явно, формальные гарантии) $\to$ motion controller (learned или оптимизационный MPC).
- Использовать явные вероятностные представления (belief/POMDP): $b_{t+1}=\tau (b_t,a_t,o_{t+1})$ и планирование в belief‑space с приближенными моделями, где предсказания обучаются.
- Model‑based RL: хранить частично явную модель $f$ и дополнять её обучаемой компонентой $\hat{f}$; это улучшает sample efficiency и позволяет использовать MPC с learned model.
- Иерархический подход:
- высокоуровневый символический планировщик ставит подцели/контракты;
- низкоуровневые политики (обученные) выполняют манёвры и обеспечивают обратную связь.
- Безопасность через “щит”/runtime verification:
- применять формальные фильтры/контрольные барьеры (Control Barrier Function): требуемое условие $\dot{h}(x,u)\ge -\alpha (h(x))$;
- или решать constrained‑RL: ${\max }_{\pi }\mathbb{E}[\sum {\gamma }^t{r}_t]$ при $\mathbb{E}[\sum {\gamma }^t{c}_t]\le C$.
- Runtime shield отклоняет или корректирует действия обученной политики, если они нарушают формальные ограничения.
- Учет неопределённости:
- использовать калиброванные предсказания, Bayesian/ensemble модели, наличие доверительных интервалов для прогнозов других агентов; планирование с учётом риска (CVaR, chance constraints).
- Верификация и тестирование:
- верифицировать символическую часть формально (модельный чекер), тестировать обученные компоненты на краевых кейсах, поддерживать набор безопасных ручных правил.
- учиться в симуляции + верифицированные фолбеки на реальном железе: сим2real + fallback контроллер с формальными гарантиями для редких событий.
- Постоянная адаптация и мониторинг:
- сохранять модель ошибок/доменных сдвигов и триггерить переобучение или безопасный режим при распознавании высокого риска.
5) Практические рекомендации (конкретика)
- Храни явно: карты, динамические ограничения робота, формальные safety‑правила, граф задач.
- Обучай: perception, предсказание агентов, локальные политики, вероятностные модели мира.
- Комбинируй: планировщик даёт подцели и жесткие ограничения; RL‑агент решает локальный контроль внутри этих ограничений; runtime shield и MPC с контролируемой моделью обеспечивают безопасность.
- Уделяй внимание uncertainty quantification и жанрам ошибок (адверсариальные случаи, распределение отличное от тренировки) — для них нужна явная обработка, а не только черный‑box RL.
Итог: символический подход даёт гарантии и структуру — храните там карты, правила, модели безопасности и динамические ограничения; RL эффективен для восприятия, предсказаний и адаптивных локальных контроллеров. Их сочетание (иерархия, model‑based RL, runtime shields, учёт неопределённости) даёт наилучший компромисс надёжности и адаптивности.