Кратко: однозначного «должен» нет — выбор между утилитаризмом и деонтологией — морально и юридически значим, и влияет на распределение ответственности, регулирование и общественное доверие. Практически нужен гибридный, нормативно закреплённый подход с явными ограничениями и подотчётностью производителей.
Пояснение по пунктам.
1) Что означают подходы технически
- Утилитаризм: алгоритм минимизирует суммарный ожидаемый вред. Формально это можно записать как минимизацию ожидаемого суммарного ущерба
$$\min \mathbb{E}\left[\sum _i{h}_i\right],$$ где $h_i$ — вред для каждого затронутого индивида.
- Деонтология: алгоритм должен следовать запретам/правам (например, не причинять умышленного вреда пассажирам или пешеходам), что реализуется как набор жёстких ограничений $C_j$, которые не могут нарушаться даже ради меньшего суммарного вреда.
2) Последствия для проектирования и сертификации
- Утилитарный дизайн требует моделей риска, статистики и оптимизационных критериев; оценка и верификация опираются на прогнозы распределений событий. Это даёт производителю инструмент оптимизации, но повышает требования к доказуемой точности моделей и может вызвать вопросы о допустимости «жертв».
- Деонтологический дизайн проще формализовать в виде запретов и стандартов (например, минимальные требования безопасности, запрет на вынужденные жертвы), что облегчает сертификацию, но может снизить общую эффективность безопасности (больше аварий в сумме).
3) Юридическая и социальная ответственность производителей
- При утилитарном подходе производитель может нести более прямую ответственность за реализацию алгоритма и последствия его оптимизации (регрессии, доказуемая валидация, прозрачность критериев). Возможны претензии по продуктовой ответственности, требование доказать, что выбранная политика была «обоснованно оптимальной».
- При деонтологическом подходе регуляторы и суды легче определяют нарушение — если алгоритм нарушил жёсткий запрет/права, ответственность очевиднее. Но если запреты приводят к большим потерям в массовом масштабе, общество может требовать изменения правил.
- В обоих случаях важны: прозрачность требований, аудитируемость логики решений, журналирование (черные ящики), и страховые/компенсационные механизмы.
4) Социальные и этические аспекты
- Утилитаризм сталкивается с проблемой распределения вреда: кто «приносится в жертву»? Это политический и моральный выбор, который должен быть публично обсуждён и легитимизирован.
- Деонтология лучше защищает индивидуальные права, но может сохранять системные риски.
- Общественное доверие требует ясных правил, участия граждан и демонстрации, что решения не оставлены чисто экономическому интересу производителей.
5) Практическая рекомендация (как реализовать политически приемлемо)
- Законодательно установить минимальные жёсткие запреты/права (деонтологические «рамки»).
- Внутри этих рамок оптимизировать поведение по критериям минимизации риска/ущерба (утилитарный элемент): это можно формализовать как
$$\min \mathbb{E}\left[\sum _i{h}_i\right]\text{при}{C}_j(\text{жёсткие ограничения})\forall j.$$ - Обеспечить требование прозрачности: публикация критериев, независимый аудит, логи решений, механизмы компенсации пострадавшим.
- Включить демократическое/регуляторное участие в выборе приоритетов и компенсационных правил (страхование, фонды возмещения).
Вывод: философские основания прямо влияют на то, какие правила закладывают в алгоритмы и как суды/общество будут распределять ответственность. Практически устойчивый путь — сочетание деонтологических ограничений (защита прав и запретов) и утилитарной оптимизации внутри этих границ с чёткой регуляторной и юридической подотчётностью производителей.