Кратко о случае: автономный автомобиль (АА) в критической ситуации должен выбрать манёвр, который неизбежно приведёт к травмам/смертям пассажиров или пешеходов. Ниже — рекомендации трёх этических подходов и практико-политические сложности при внедрении.
1) Утилитаризм
- Нормативное правило: выбирать вариант, который минимизирует суммарный ожидаемый вред (максимизирует суммарное благосостояние).
- Формализация (пример): пусть есть набор исходов $i$ с вероятностями $p_i$ и вредом $h_i$ (например, число погибших или взвешенная шкала страданий). Утилитарное решение минимизирует ожидаемый вред:
$$\underset{a}{\min }\mathbb{E}[H(a)]=\underset{a}{\min }\sum _i{p}_i(a)h_i$$ - Последствия: может жертвовать небольшой группой ради большего числа спасённых, учитывать возраст, вероятность выживания, сопутствующие потери и т.д.
2) Деонтология
- Нормативное правило: действовать согласно обязанностям и правам, независимо от суммарного результата. Это может означать:
- запрет на намеренное целенаправленное убийство невиновных (например, нельзя целенаправленно таранить пешехода, чтобы спасти пассажиров);
- следование правилам (соблюдать ПДД, не менять траекторию, если это означает цельное нападение на конкретного человека);
- приоритет соблюдения прав пассажиров (как тех, кто дал согласие быть перевезённым).
- Формализация правила как ограничение:
$$\text{выбирать}a\text{так, чтобы}{C}_j(a)=0\forall j\in \{\text{запреты/обязанности}\}$$ - Последствия: возможно более «жёсткие» решения, которые не минимизируют суммарный ущерб, но соответствуют моральным запретам.
3) Теория добродетелей
- Нормативное правило: решения должны выражать добродетели (благоразумие/практическая мудрость, сострадание, справедливость, ответственность). Оценка ориентирована на характер действующего (дизайнера системы, оператора), а не только на подсчёт жертв.
- Практическая импликация: алгоритмы должны проектироваться и тестироваться так, чтобы проявлять «добродетельные» приоритеты — заботу о наиболее уязвимых, избегание предвзятости, прозрачность и готовность к ответственности.
- Это менее формализуемо, но даёт приоритеты: защита слабых, честность в коммуникации рисков, обучение разработчиков моральному суждению.
4) Практические и политические сложности внедрения
- Неведомость/неопределённость: сенсоры и модели дают вероятности, а не точные факты; расчёт $\mathbb{E}[H]$ зависит от ненадёжных $p_i$.
- Технические ограничения: нет времени/данных для точного расчёта во многих сценариях; сложные сценарии с множественными участниками.
- Дискриминация и предвзятость: алгоритм может опираться на характеристики (возраст, инвалидность, этнос), что противоречит справедливости и законодательству.
- Правовая ответственность: кто отвечает — производитель, владелец, разработчик ПО, государство? Разные режимы ответственности меняют стимулы.
- Моральный плюрализм и легитимность: общество не едино в моральных приоритетах; навязывание утилитарного расчёта или наоборот — вызовет протест.
- Перverse incentives: например, страховой рынок или покупательские предпочтения могут стимулировать производителя делать «эгоистичные» машины, которые ставят в приоритет пассажира.
- Регуляторное несогласие между юрисдикциями: разные страны/штаты могут иметь разные нормы (например, приоритет пешехода vs. пассажира).
- Прозрачность vs. безопасность: объяснимые решения повышают доверие, но раскрытие внутренней логики может быть использовано злоумышленниками.
- Этическая оценка редких случаев: нормативные модели трудно проверить статистически (редкие аварии).
5) Практические рекомендации для политики и внедрения
- Нормативный минимум: обязать производителей следовать базовым правилам (соблюдение ПДД, запрет на дискриминацию по защищённым признакам).
- Гармонизация и стандарты: создать международные/национальные стандарты по допустимым критериям принятия решений и методам тестирования.
- Констрейнт-оптимизация (гибридный подход): минимизировать ожидаемый вред при соблюдении деонтологических ограничений и запретов на дискриминацию:
$$\underset{a}{\min }\mathbb{E}[H(a)]\text{при}{D}_k(a)=0\forall k(\text{запреты/права}),Q_{\ell }(a)\le 0(\text{ограничения по дискриминации})$$ - Независимый аудит и сертификация алгоритмов; публичные «чёрные ящики» мероприятий (лог событий) для форензики после аварий.
- Прозрачность и публичные консультации: вовлечение граждан, этиков и юристов при формулировке правил; выбор приоритетов через демократический процесс.
- Стандарты тестирования в реальных/симулированных условиях, покрывающие крайние случаи.
- Законодательные реформы по ответственности и страхованию: чёткие правила ответа при авариях, обязательное страхование и фонды компенсаций.
- Ограничение использования отдельных личных данных в принятии решений (чтобы избежать дискриминации).
- Готовность к эволюции правил: постоянный мониторинг, обновление на основе эмпирики и общественного мнения.
Кратко вывод: утилитаризм предлагает минимизацию суммарного вреда, деонтология — соблюдение обязанностей и запретов независимо от суммарного результата, добродетельная этика — ориентир на моральный характер разработчиков/системы и защиту уязвимых. На практике следует применять гибридный подход: минимизация ожидаемого вреда при жёстких деонтологических и антидискриминационных ограничениях, подкреплённая прозрачной регуляцией, аудитом и публичным диалогом.