Этическая задача уровня школы: автономный автомобиль должен выбирать между двумя вредными исходами при неминуемой аварии — какие этические теории (утилитаризм, деонтология, теория добродетелей) выдвинут какие решения и какие социальные последствия будут у внедрения одного из них
Кратко опишу, как три классические этические теории утилитаризм,деонтология,теориядобродетелейутилитаризм, деонтология, теория добродетелейутилитаризм,деонтология,теориядобродетелей обычно подходят к «дилемме автономной машины» и какие реальные социальные эффекты может дать внедрение каждой из них.
1) Утилитаризм
Принцип: выбирать действие, которое даёт наибольшую суммарную пользу минимизируетобщееколичествостраданий/смертейминимизирует общее количество страданий/смертейминимизируетобщееколичествостраданий/смертей.Как будет решать задачу: автомобиль оценивает последствия и выбирает вариант с наименьшим вредом. Пример: если выбор между смертью одного пешехода и смертью трёх пассажиров, утилитаризм пожертвует одним, чтобы спасти трёх; если один на один — выбирается менее вредный исход например,сохранитьжизнь,дажееслипричинитьтравмунапример, сохранить жизнь, даже если причинить травмунапример,сохранитьжизнь,дажееслипричинитьтравму.Социальные последствия: Плюсы: теоретически минимизация количества жертв; более «рациональное» распределение выгоды для общества.Минусы: риск дискриминации алгоритмможетсистемножертвоватьстаршими,больными,людьмисменьшей«экономическойценностью»алгоритм может системно жертвовать старшими, больными, людьми с меньшей «экономической ценностью»алгоритмможетсистемножертвоватьстаршими,больными,людьмисменьшей«экономическойценностью»; общественное возмущение от ощущения, что людей «взвешивают» и «сбрасывают» ради пользы других; морально тяжёлая ответственность разработчиков; возможный правовой риск ктоотвечаетза«расчёт»?кто отвечает за «расчёт»?ктоотвечаетза«расчёт»?. Кроме того, такой подход может создавать моральный риск — пешеходы могут вести себя рискованнее, если знают, что машина предпочитает сохранять многих.
2) Деонтология
Принцип: следовать моральным правилам/обязанностям независимо от суммарного результата например,«неубивайневинных»,уважатьправаличностинапример, «не убивай невинных», уважать права личностинапример,«неубивайневинных»,уважатьправаличности.Как будет решать задачу: запрещает сознательно использовать одного человека как средство для спасения других. На практике это может означать: не выполнять манёвр, который намеренно убьёт пешехода ради спасения пассажиров; или наоборот — приоритет соблюдать правила и защищать жизнь пассажира как обязанность производителя/владельца автомобиля. Многое зависит от того, какие именно правила закладываются правонажизнькаждого,обязанностьсоблюдатьПДДит.п.право на жизнь каждого, обязанность соблюдать ПДД и т.п.правонажизнькаждого,обязанностьсоблюдатьПДДит.п..Социальные последствия: Плюсы: моральная ясность для части общества не«взвешивать»жизниповыгодене «взвешивать» жизни по выгодене«взвешивать»жизниповыгоде; может лучше защищать права отдельных людей.Минусы: может приводить к большим общим потерям еслисоблюдениеправилаведёткбольшемучислужертвесли соблюдение правила ведёт к большему числу жертвеслисоблюдениеправилаведёткбольшемучислужертв; если правило формально защищает пассажира производительобязанзащищатьпокупателяпроизводитель обязан защищать покупателяпроизводительобязанзащищатьпокупателя, общественное недовольство и снижение доверия со стороны пешеходов; сложность выбора правил и конфликтов обязанностей чтоважнее:защититьвладельцаилинеубиватьпосторонних?что важнее: защитить владельца или не убивать посторонних?чтоважнее:защититьвладельцаилинеубиватьпосторонних?.
3) Теория добродетелей эвдемонизм,«добродетельнаяэтика»эвдемонизм, «добродетельная этика»эвдемонизм,«добродетельнаяэтика»
Принцип: действовать в соответствии с добродетелями справедливость,мужество,сострадание,практическаямудростьсправедливость, мужество, сострадание, практическая мудростьсправедливость,мужество,сострадание,практическаямудрость — ориентир не только на правила или на чистые последствия, а на то, как поступил бы добродетельный агент.Как будет решать задачу: решения зависят от контекста и «практической мудрости» phronesisphronesisphronesis. Это может привести к гибкому, контекстуальному выбору: проявить сострадание к уязвимым, избегать сознательного использования людей как средств, стремиться к справедливому исходу.Социальные последствия: Плюсы: подход ближе к моральной интуиции многих людей; может учитывать человеческое достоинство и конкретные обстоятельства.Минусы: трудно формализовать и запрограммировать чтотакое«практическаямудрость»длямашины?что такое «практическая мудрость» для машины?чтотакое«практическаямудрость»длямашины?, возможна непоследовательность решений, сложность в правовой оценке и верификации алгоритма.
Общие практические соображения и рекомендации
Все три подхода имеют сильные плюсы и слабости; выбор чисто одной теории в коде автомобиля приведёт к этическим и политическим спорам.Последствия внедрения зависят не только от принципа, но и от того, насколько прозрачно и демократически он выбран публичныедискуссии,стандарты,регуляцияпубличные дискуссии, стандарты, регуляцияпубличныедискуссии,стандарты,регуляция.Риски: дискриминация, изменение поведения участников дорожного движения, юридическая неясность ответственности, снижение доверия если решения воспринимаются как «несправедливые».Практические меры, которые снижают конфликты: прозрачность критериев, запрет на дискриминацию по недопустимым признакам раса,пол,ит.п.раса, пол, и т. п.раса,пол,ит.п., фокус на минимизации числа и тяжести жертв сучётомправовыхограниченийс учётом правовых ограниченийсучётомправовыхограничений, общественные консультации, стандарты безопасности и независимые аудиты алгоритмов.
Краткий вывод: утилитаризм стремится минимизировать общее число жертв — эффективно, но рискованно с точки зрения справедливости; деонтология защищает права и нормы — ясно, но может вести к большим общим потерям; теория добродетелей предлагает гибкость и моральную интуицию — хорошо психологически, но трудно формализуемо и проверяемо. Лучшее практическое решение — сочетание принципов, закреплённое в прозрачных правилах и подкреплённое общественным выбором и регуляцией.
Кратко опишу, как три классические этические теории утилитаризм,деонтология,теориядобродетелейутилитаризм, деонтология, теория добродетелейутилитаризм,деонтология,теориядобродетелей обычно подходят к «дилемме автономной машины» и какие реальные социальные эффекты может дать внедрение каждой из них.
1) Утилитаризм
Принцип: выбирать действие, которое даёт наибольшую суммарную пользу минимизируетобщееколичествостраданий/смертейминимизирует общее количество страданий/смертейминимизируетобщееколичествостраданий/смертей.Как будет решать задачу: автомобиль оценивает последствия и выбирает вариант с наименьшим вредом. Пример: если выбор между смертью одного пешехода и смертью трёх пассажиров, утилитаризм пожертвует одним, чтобы спасти трёх; если один на один — выбирается менее вредный исход например,сохранитьжизнь,дажееслипричинитьтравмунапример, сохранить жизнь, даже если причинить травмунапример,сохранитьжизнь,дажееслипричинитьтравму.Социальные последствия:Плюсы: теоретически минимизация количества жертв; более «рациональное» распределение выгоды для общества.Минусы: риск дискриминации алгоритмможетсистемножертвоватьстаршими,больными,людьмисменьшей«экономическойценностью»алгоритм может системно жертвовать старшими, больными, людьми с меньшей «экономической ценностью»алгоритмможетсистемножертвоватьстаршими,больными,людьмисменьшей«экономическойценностью»; общественное возмущение от ощущения, что людей «взвешивают» и «сбрасывают» ради пользы других; морально тяжёлая ответственность разработчиков; возможный правовой риск ктоотвечаетза«расчёт»?кто отвечает за «расчёт»?ктоотвечаетза«расчёт»?. Кроме того, такой подход может создавать моральный риск — пешеходы могут вести себя рискованнее, если знают, что машина предпочитает сохранять многих.
2) Деонтология
Принцип: следовать моральным правилам/обязанностям независимо от суммарного результата например,«неубивайневинных»,уважатьправаличностинапример, «не убивай невинных», уважать права личностинапример,«неубивайневинных»,уважатьправаличности.Как будет решать задачу: запрещает сознательно использовать одного человека как средство для спасения других. На практике это может означать: не выполнять манёвр, который намеренно убьёт пешехода ради спасения пассажиров; или наоборот — приоритет соблюдать правила и защищать жизнь пассажира как обязанность производителя/владельца автомобиля. Многое зависит от того, какие именно правила закладываются правонажизнькаждого,обязанностьсоблюдатьПДДит.п.право на жизнь каждого, обязанность соблюдать ПДД и т.п.правонажизнькаждого,обязанностьсоблюдатьПДДит.п..Социальные последствия:Плюсы: моральная ясность для части общества не«взвешивать»жизниповыгодене «взвешивать» жизни по выгодене«взвешивать»жизниповыгоде; может лучше защищать права отдельных людей.Минусы: может приводить к большим общим потерям еслисоблюдениеправилаведёткбольшемучислужертвесли соблюдение правила ведёт к большему числу жертвеслисоблюдениеправилаведёткбольшемучислужертв; если правило формально защищает пассажира производительобязанзащищатьпокупателяпроизводитель обязан защищать покупателяпроизводительобязанзащищатьпокупателя, общественное недовольство и снижение доверия со стороны пешеходов; сложность выбора правил и конфликтов обязанностей чтоважнее:защититьвладельцаилинеубиватьпосторонних?что важнее: защитить владельца или не убивать посторонних?чтоважнее:защититьвладельцаилинеубиватьпосторонних?.
3) Теория добродетелей эвдемонизм,«добродетельнаяэтика»эвдемонизм, «добродетельная этика»эвдемонизм,«добродетельнаяэтика»
Принцип: действовать в соответствии с добродетелями справедливость,мужество,сострадание,практическаямудростьсправедливость, мужество, сострадание, практическая мудростьсправедливость,мужество,сострадание,практическаямудрость — ориентир не только на правила или на чистые последствия, а на то, как поступил бы добродетельный агент.Как будет решать задачу: решения зависят от контекста и «практической мудрости» phronesisphronesisphronesis. Это может привести к гибкому, контекстуальному выбору: проявить сострадание к уязвимым, избегать сознательного использования людей как средств, стремиться к справедливому исходу.Социальные последствия:Плюсы: подход ближе к моральной интуиции многих людей; может учитывать человеческое достоинство и конкретные обстоятельства.Минусы: трудно формализовать и запрограммировать чтотакое«практическаямудрость»длямашины?что такое «практическая мудрость» для машины?чтотакое«практическаямудрость»длямашины?, возможна непоследовательность решений, сложность в правовой оценке и верификации алгоритма.
Общие практические соображения и рекомендации
Все три подхода имеют сильные плюсы и слабости; выбор чисто одной теории в коде автомобиля приведёт к этическим и политическим спорам.Последствия внедрения зависят не только от принципа, но и от того, насколько прозрачно и демократически он выбран публичныедискуссии,стандарты,регуляцияпубличные дискуссии, стандарты, регуляцияпубличныедискуссии,стандарты,регуляция.Риски: дискриминация, изменение поведения участников дорожного движения, юридическая неясность ответственности, снижение доверия если решения воспринимаются как «несправедливые».Практические меры, которые снижают конфликты: прозрачность критериев, запрет на дискриминацию по недопустимым признакам раса,пол,ит.п.раса, пол, и т. п.раса,пол,ит.п., фокус на минимизации числа и тяжести жертв сучётомправовыхограниченийс учётом правовых ограниченийсучётомправовыхограничений, общественные консультации, стандарты безопасности и независимые аудиты алгоритмов.Краткий вывод: утилитаризм стремится минимизировать общее число жертв — эффективно, но рискованно с точки зрения справедливости; деонтология защищает права и нормы — ясно, но может вести к большим общим потерям; теория добродетелей предлагает гибкость и моральную интуицию — хорошо психологически, но трудно формализуемо и проверяемо. Лучшее практическое решение — сочетание принципов, закреплённое в прозрачных правилах и подкреплённое общественным выбором и регуляцией.