Кратко и по делу — какие теории применимы и что они не решают.
1) Консеквенциализм (утилитаризм)
- Суть: выбирать действие, которое максимизирует суммарную "полезность" / минимизирует суммарный вред.
- Как формализуется в системе: минимизация ожидаемого вреда
$\underset{a}{\min }\sum _i{p}_i(a)h_i(a)$,
где $a$ — возможное действие, $p_i(a)$ — вероятность наступления состояния i при $a$, $h_i(a)$ — ущерб (или отрицательная полезность).
- Практические вопросы: нужно задать числовые веса (стоимость жизни, травмы, имущественный вред), оценивать вероятности в реальном времени.
- Нерешённые дилеммы: сопоставление ценностей разных людей (пассажир vs пешеход), компенсация маловероятных больших потерь, риск дискриминации при взвешивании по возрасту/числу и т. п.
2) Деонтология (правила/запреты)
- Суть: следовать моральным правилам или запретам (не убивать, не намеренно причинять вред и т. п.) независимо от суммарного результата.
- Как внедрить: задать набор ограничений $R=\{r_1,\dots ,r_k\}$ и допускать только действия $a$ такие, что $\forall r\in R:r(a)=\text{истина}$.
- Практические вопросы: правила конфликтуют (например, запрет причинять вред пассажиру vs запрет причинять вред пешеходу); нужны приоритеты между правилами или исключения.
- Нерешённые дилеммы: конфликтующие обязательства, случаи крайних последствий (жёсткие запреты могут привести к большему общему вреду), неясность применения правил в неопределённых ситуациях.
3) Этика добродетели
- Суть: система должна действовать как добродетельный агент — проявлять заботу, смелость, справедливость и т. п.; акцент на характере, а не на правилах/результатах.
- Как формализуется (труднее): можно строить функции соответствия добродетелям $V_j(a)$ и выбирать $a$ максимизирующее агрегат добродетелей, но это сильно контекстно-зависимо.
Пример: $\underset{a}{\max }\sum _j{\alpha }_j{V}_j(a)$, где ${\alpha }_j$ — веса добродетелей.
- Практические вопросы: трудно формализовать и верифицировать "добродетельность"; размытость критериев; субъективность культуры/сообщества.
- Нерешённые дилеммы: конфликт добродетелей (например, смелость vs осторожность), неопределённость подходящего поведения в экстремуме, согласованность с правом и общественными ожиданиями.
Перекрёстные (общие) нерешённые проблемы
- Весовые коэффициенты и агрегация: как сравнить жизнь одного пассажира и жизни нескольких пешеходов, как учитывать возраст, здоровье, ответственность участников.
- Эпистемическая неопределённость: сенсоры дают неверную/неполную информацию, значит оптимизация по неверной модели может привести к плохим результатам.
- Конфликты норм: право, этика и коммерческие мотивации могут задавать разные цели.
- Ответственность и легитимность: кто отвечает за выбор — производитель, программист, владелец, регулятор? Какова социальная приемлемость алгоритма?
- Манипулируемость и стратегическое поведение: участники могут играть на алгоритм (намеренно создавать ситуации).
- Моральная неопределённость и контекст: реальные случаи часто богатее «тележечных» моделей; универсальная формула малопригодна.
- Технические ограничения: вычислительная задержка, неполные данные, невозможность гарантировать исполнение правил в миллисекунды.
Короткий вывод
- Все три подхода применимы: консеквенциализм даёт понятную оптимизационную основу, деонтология — нравственные границы/ограничения, добродетельная модель акцентирует характер и контекст.
- Но ни одна из них не даёт полного решения: остаются вопросы агрегации ценностей, конфликтов правил, эпистемической неопределённости, юридической ответственности и культурной легитимности. На практике нужны гибридные архитектуры + общественные/правовые решения и прозрачность.