Кратко: приведу суть трёх этических подходов к дилемме (автомобиль: пассажир vs группа пешеходов), их институциональные последствия и конкретные критерии для нормативного регулирования.
1) Утилитаризм
- Суть: выбрать действие, которое минимизирует общее ожидаемое вредоносное последствие.
- Принятие решения: сравнивают суммарный ожидаемый ущерб и выбирают минимум, например минимизируют суммарную ожидаемую смертность/травмы: $\min {\sum }_i{w}_i\mathbb{E}[h_i]$, где $h_i$ — вред для лица $i$, $w_i$ — вес.
- Институциональные последствия: требуется количественная оценка рисков и «веса» жизней — стандарты расчёта, централизованные методики оценки, прозрачные матрицы вреда; ответственность часто ложится на производителя ПО/владельца за оптимизацию рисков; может возникнуть общественное недовольство, если определённые группы получают меньше «веса» (риск дискриминации); появляются требования к постоянному сбору данных, тестированию и верификации моделей.
2) Деонтологизм
- Суть: решения руководствуются правилами/правами (например, «не убивать», нельзя использовать людей как средство). Некоторые действия запрещены независимо от суммарного результата.
- Принятие решения: алгоритм должен соблюсти запреты (не выполнять преднамеренное действие, прямо ведущие к смерти невинного), даже если это увеличит общее число жертв. Например запрет на умышленное перераспределение риска в сторону пешеходов.
- Институциональные последствия: требуются ясные юридические запреты (какие манёвры недопустимы), строгие требования к предсказуемости поведения авто, меньше модельных вычислений «стоимости жизни», потенциально более простые нормы сертификации и жёсткая ответственность за нарушающие правила системы; снижение гибкости решения в редких ситуациях, возможное ухудшение общего уровня безопасности, но легче защищается право отдельных лиц.
3) Этика добродетели
- Суть: ориентир на добродетельный характер действия — практическая мудрость, забота, сострадание; решения контекстуальны и зависят от моральных качеств агента/дизайнера.
- Принятие решения: алгоритм проектируют так, чтобы он проявлял «практическую мудрость» (например, отдавать приоритет самым уязвимым, минимизировать страдания в контексте), решения чувствительны к контексту, не только к сумме вреда.
- Институциональные последствия: больше внимания к кодам поведения, профессиональной этике разработчиков, общественным консультациям и локальным нормам; требуется гибкая институциональная архитектура (комитеты, этические советы), сложнее формализовать и верифицировать; сильнее роль человеческого надзора и ценностного дизайна.
Критерии для нормативного регулирования (предложения, применимые совместно):
- Безопасность и минимизация вреда: системы должны минимизировать ожидаемый вред, формально проверяемо; допустимая нормативная цель может быть сформулирована как $\min {\sum }_i{w}_i\mathbb{E}[h_i]$ при соблюдении дополнительных ограничений.
- Ограничения прав и запреты: установить недопустимые манёвры (например, целенаправленное жертвование конкретной личности) — деонтологический «запрет».
- Недискриминация: запрет на систематическое повышение риска для защищённых групп; формально: $\forall g,g^{\prime }|\mathrm{risk}(g)-\mathrm{risk}(g^{\prime })|\le ϵ$.
- Прозрачность и объяснимость: обязанность раскрывать общую логику принятия решений, тестовые сценарии и статистику аварий/сценариев.
- Аудитируемость и сертификация: независимые тесты, публичные сценарии, обязательные стресс-тесты в разнообразных условиях.
- Ответственность и распределение риска: чёткие правила о гражданско-правовой и уголовной ответственности (производитель, оператор, владелец), обязательные страховые механизмы и фонды компенсации.
- Человеческий надзор и режимы по умолчанию: определить, в каких случаях требуется вмешательство человека или безопасный «fallback» (например, остановка).
- Ограничение автоматизации в морально чувствительных решениях: требовать усиленной проверки/одобрения для алгоритмов, принимающих решения о гибели/серьёзном вреде.
- Публичное участие и локальная легитимация: вовлечение общественности при установлении приоритетов (какие сценарии допустимы).
- Непрерывный мониторинг и отчётность: обязательные данные о инцидентах, обновлениях ПО, модели должны проходить повторную сертификацию после изменений.
Пример нормативной формулы (компромисс): минимизировать ожидаемый общий вред при соблюдении запрета на преднамеренное причинение вреда и ограничении дискриминации:
$$\begin{array}{rl}& \underset{\text{политика}}{\min }\sum _i{w}_i\mathbb{E}[h_i]\\ & \text{при условии:}\mathrm{Pr}(\text{преднамеренная гибель невинного})=0,\\ & |\mathrm{risk}(g)-\mathrm{risk}(g^{\prime })|\le ϵ\forall g,g^{\prime }.\end{array}$$
Коротко о применении на практике: норматив должен сочетать количественные требования (тесты, минимизация риска), юридические запреты (недопустимые манёвры), механизмы подотчётности (аудит, страхование) и общественную легитимацию (вовлечение граждан). Это позволяет учесть сильные стороны всех трёх подходов: эффективность утилитаризма, защита прав деонтологизма и контекстуальную чувствительность добродетели.