Кратко — перечислю формализуемые алгоритмы, дам формулы/паттерны кодирования и перечислю ключевые философские и практические проблемы.
1) Утилитарный алгоритм (максимизация ожидаемой полезности / минимизация ожидаемого вреда)
- Формализация: для каждого действия $a\in A$ оцениваем вероятности исходов и «вред» / утилиты для каждого участника $i$:
$$H(a)=\sum _i{p}_i(a)d_i,\text{или}U(a)=\sum _i{p}_i(a)u_i$$ где $p_i(a)$ — вероятность вреда участника $i$ при действии $a$, $d_i$ — числовое значение вреда (или $u_i$ — польза).
- Решение: выбираем $\arg {\min }_{a}H(a)$ (или $\arg {\max }_{a}U(a)$).
- Реализация: POMDP/MDP с функцией вознаграждения, пошаговая оценка сценариев, Monte‑Carlo симуляции, real‑time оценка на основе сенсоров.
- Проблемы: как измерять $d_i$ (сравнение ценностей жизней), агрегирование разных категорий, нечувствительность к правам/правосудию (жертва может быть «рассчитана»), уязвимость к манипуляциям (входные признаки).
2) Деонтологический (правило‑ориентированный) алгоритм
- Формализация: задаётся множество запрещённых действий/целевых правил $F$. Решение выбирается среди допустимых:
$$A_{\text{ok}}=A\setminus F,a^{\ast }=\arg \underset{a\in A_{\text{ok}}}{\min }H(a)$$ или, если все действия запрещены, применяются приоритеты правил.
- Примеры правил: не целиться на пешеходов, не жертвовать пассажирами, не выбирать по признаку расы/возраста.
- Реализация: правилообразный движок (если‑то), верифицируемые модели, проверка соответствия формальным нормам.
- Проблемы: конфликт правил (нет допустимых действий), жёсткость при крайних ситуациях, сложности формализации «абсолютных» запретов, правовые и этические споры о том, какие правила считать абсолютными.
3) Принцип «слабого исключения» (формализация для AV)
- Один из рабочих вариантов (интерпретация): защищённые группы/индивиды $P$ не должны намеренно приноситься в жертву, кроме случаев крайней необходимости. Формализуем через порог:
$$H_{\neg P}=\underset{a:\text{не жертвуем}P}{\min }H(a),H_{\text{all}}=\underset{a}{\min }H(a).$$ Пусть $\tau$ — допустимая разница вреда. Если $H_{\neg P}-H_{\text{all}}\le \tau$, запрещаем жертвовать $P$; иначе допускаем выбор, минимизирующий общий вред.
- Альтернативно: лексикографический порядок — сначала минимизируем нарушение запретов (число жертв из $P$), потом суммарный вред.
- Реализация: constrained optimization с порогом или лексикографическая оптимизация, правила с «ослаблением» при экстремальных условиях.
- Проблемы: выбор порога $\tau$, кто входит в $P$ (справедливость/дискриминация), объяснимость и юридическая ответственность.
4) Гибридные и прикладные паттерны
- Лексикографическая оптимизация: сначала удовлетворяем первичные деонтологические ограничения, затем минимизируем утилитарный критерий.
- Взвешенная многокритериальная оптимизация: минимум штрафов за нарушения правил + сумма вреда:
$$\underset{a}{\min }(\lambda V_{\text{rules}}(a)+H(a))$$ где $V_{\text{rules}}$ — число/сумма нарушений, $\lambda$ — вес.
- RL с синтезом правил: обучение политики с штрафами за нарушения, но с hard constraints на критические запреты.
- Стохастическая стратегия/рандомизация как крайняя мера, если симметричные варианты равнозначны.
5) Философские и практические проблемы (кратко)
- Нормативный выбор: нет единого консенсуса (утилитаризм vs деонтология vs контрактуализм). Какой набор правил кодировать — политический выбор.
- Сравнение жизней и вреда: количефикация моральной ценности, учёт возраста, числа людей, пассажиров vs прохожих.
- Защита прав и дискриминация: использование признаков (возраст, профессия) для принятия решений может быть несправедливым/незаконным.
- Неопределённость восприятия: ошибки сенсоров, ложные классификации (например, распознавание группы), POMDP и риск неверного расчёта.
- Ответственность и объяснимость: кто отвечает за исход (производитель, владелец, программист)? Требуется объясняемый и верифицируемый алгоритм.
- Манипулирование средой: люди/злоумышленники могут моделировать ситуации, чтобы причинить конкретный результат.
- Социальная приемлемость: общественные предпочтения разнятся; автоматическое «решение» может подорвать доверие.
- Легализация и стандарты: нужен правовой каркас, регуляция, единые тестовые наборы сценариев.
- Техническая робастность: сложность реального времени, вычислительные ограничения, безопасность от сбоев.
- Этичность оценки редких сценариев: trolley‑type ситуации редки; оптимизация под них может ухудшать поведение в типичных сценариях.
Резюме‑рекомендация: практически реализуемый и социально приемлемый подход — гибрид: жёсткие деонтологические constraints на критические запреты (без дискриминации по защищённым признакам) + утилитарная минимизация вреда внутри оставшегося допустимого пространства, с пороговой «ослабляющей» политикой (принцип слабого исключения) только при явно заданном и публично утверждённом пороге $\tau$. Всё это должно сопровождаться прозрачными спецификациями, верификацией, симуляциями и правовой регламентацией.