Фактическая основа задачи
- В ходе международного/негосударственного вооружённого конфликта на территории государства Y применяются автономные боевые системы (АБС), способные самостоятельно обнаруживать и поражать цели без постоянного человеческого вмешательства. Возникают жертвы среди гражданского населения и повреждения гражданской инфраструктуры.
Правные вопросы (формулировки для правового анализа)
1. Какие правила международного гуманитарного права (МГП) применимы к разработке, развертыванию и использованию АБС в данном конфликте?
2. В какой мере существующие нормы обеспечивают выполнение требований разграничения (distinction), соразмерности (proportionality) и предосторожностей при атаке применительно к решениям, принимаемым ИИ?
3. Как соотносятся обязанности по проведению предварительной правовой оценки новых видов и методов ведения войны (weapons review) с использованием АБС?
4. Какие правила международной ответственности государств применимы при вреде, причинённом АБС (атрибуция действия системы государству, нарушение обязательств, требуемые возмещения)?
5. Какие пробелы в международном праве (нормативные, доказательственные, институционные) затрудняют обеспечение подотчётности и предотвращение нарушений при применении АБС?
6. Какие правовые и практические меры (нормативное реагирование) необходимы для устранения выявленных пробелов?
Применимые нормы МГП (кратко, с объяснением)
- Общее приложение правил о поведении в бою: принцип разграничения — обязанность различать комбатантов и гражданских; нарушение ведёт к ответственности за прямые нападения на гражданских.
- Принцип соразмерности — атака запрещена, если ожидаемый непосредственный ущерб гражданским превышает конкретное и прямое военное преимущество. Проблема: оценка соразмерности требует оценок, которые обычно делает человек; сложность — как перенести эту оценку на АБС.
- Обязанности по предосторожности при планировании и проведении атак (precautions in attack) — выбор средств и методов атаки с целью минимизации ущерба гражданскому населению.
- Запрет на излишние страдания и бессмысленные повреждения — применим к средствам и методам ведения боевых действий (императив оценки характера и эффектов оружия).
- Обязательная правовая проверка новых видов оружия: ст. $36$ Дополнительного протокола I к Женевским конвенциям — требование для Высоких Договаривающихся сторон оценивать законность новых средств и методов ведения войны. Практика показывает нерегулярное применение этой обязанности и отсутствие единых стандартов для ИИ.
- Нормы о запрете perfidy, правила обращения с пленными и раненными, и др. — применимы при взаимодействии систем с комбатантом/небоевыми лицами.
- Международное гуманитарное право в частях, имплементирующихся в обычай — применимо даже к государствам, не присоединившимся к конкретным договорам.
Международная ответственность государств и другие правовые режимы
- Общие принципы ответственности: если действие или бездействие АБС можно приписать государству (атрибуция), и оно нарушило международно-правовую обязанность, применяется режим ответственности (в том числе обязанность возместить ущерб и прекратить нарушение). См. соответствующие положения об ответственности государств (ARSIWA). Вопросы: когда действие автономной системы атрибутируется государству при отсутствии прямого оператора; роль контроля, штатных правил эксплуатации.
- Уголовно-правовая ответственность: возможная индивидуальная ответственность командиров/операторов за военные преступления (включая небрежность или умышленность), но квалификация сложна, если решение принимала автономная система и доказать умысел/небрежность сложнее.
- Права человека (право на жизнь, запрет произвольных лишений жизни) применяются в ситуациях, где МГП не действует (или одновременно); в том числе ответственность за произвольные лишения жизни при применении ИИ.
- Регулирование экспортных поставок и международные договоры об оружии (CCW/Конвенция по запрещению или ограничению определённых видов обычного оружия) — рамки для международного обсуждения и возможного ужесточения правил.
Основные правовые пробелы и практические трудности
- Отсутствие чёткой международной дефиниции «автономности» и «meaningful human control» → разные подходы государств и непостоянство стандартов.
- Трудности с обеспечением соответствия принципу разграничения и соразмерности при решениях, основанных на неполной/стохастической обработке данных ИИ; проблемы предсказуемости и объяснимости (black box).
- Проблема атрибуции вреда: когда причинённый АБС ущерб считать действием государства, оператора или частного производителя; ответственность за ошибки обучающей выборки или вмешательства третьих лиц (кибератаки).
- Недостатки в механизмах предварительной оценки (ст. $36$) — отсутствие обязательной прозрачности, единых тестовых методик и обмена информацией.
- Вопросы доказывания вины и психической стороны преступлений (mens rea) при уголовных делах, когда решение принималось автономно.
- Отсутствие международной процедурной системы контролирования, сертификации и аудита АБС в мирное и военное время.
Рекомендации по нормативному реагированию (что требуется)
- Разработка международно-правовой дефиниции ключевых понятий: «автономная боевая система», «значимая человеческая роль/контроль», «решения по применению силы».
- Ввести обязательные минимальные стандарты для проведения правовой и технической оценки (пересмотр и унификация применения ст. $36$): тесты на соответствие разграничению, предсказуемость поведения, устойчивость к кибератакам, требования к логам/аудиту и explainability.
- Установить требование meaningful human control как материально-правовую норму или конкретные операционные критерии (уровни вмешательства, время на вмешательство, возможность отмены атаки).
- Проработать нормы атрибуции и стандартов должной осмотрительности (due diligence) для государств: обязанность контроля над разработкой, развертыванием и эксплоатацией, ответственность за неисправности и злоупотребления.
- Регламентировать цепочку подотчётности: обязанности командиров, операторов и производителей; требования к расследованию инцидентов и к репарациям.
- Ввести международные механизмы проверки соблюдения: прозрачность (отчёты о ст. $36$ проверках), инспекции, обмен лучшими практиками через CCW или новый договор/протокол; поощрять стандарты сертификации.
- Развивать межправительственные и технические стандарты (технические спецификации, верификация, методы тестирования) совместно с экспертами по ИИ и МГП.
- Вопрос уголовной ответственности: адаптация практики командной ответственности и критериев неосторожности к случаям с ИИ; предусмотреть уголовные и дисциплинарные санкции при умышленном или грубом пренебрежении.
- Временные меры: моратории или ограничения на определённые типы АБС (напр., полностью автономные системы с возможностью самостоятельного поражения людей) до принятия постоянных правил.
Куда направить дальнейший анализ
- Детализировать: (а) критерии meaningful human control; (б) методики ст. $36$-проверок для ИИ; (в) правила атрибуции при автономных решениях; (г) модель ответственности и компенсаций. Эти элементы могут лечь в основу национального и международного регулирования (дальнейшее задание — разработать проект норм/процедур по каждому из пунктов).
(Конец формулировки задачи — для дальнейшей работы выбрать один из направлений: нормативная разработка, исследование практики ст. $36$, проект международного договора или анализ атрибуции ответственности.)