Полиция в одной из стран использует алгоритмы предиктивной полиции при планировании патрулей, что привело к предвзятым задержаниям в отношении меньшинств — выявите правовые проблемы в деятельности правоохранительных органов, предложите систему ответственности, прозрачности и оценки алгоритмов, чтобы предотвратить дискриминацию
Кратко: использование предиктивной полиции создаёт комплекс правовых рисков — дискриминация, нарушение права на равную защиту и неприкосновенность частной жизни, нарушение принципов законности и справедливости при задержаниях и возможная недопустимость доказательств. Чтобы снизить риск и предотвратить дискриминацию, нужно сочетание правового регулирования, институционального надзора, технических мер и процедур прозрачности/ответственности.
1) Основные правовые проблемы
Дискриминация и равенство перед законом Алгоритм может системно непреднамереннонепреднамереннонепреднамеренно давать более высокий риск для меньшинств, что нарушает запрет на дискриминацию конституция,международныестандарты—ICCPR,ECHRидр.конституция, международные стандарты — ICCPR, ECHR и др.конституция,международныестандарты—ICCPR,ECHRидр..Нарушение права на частную жизнь и обработки персональных данных Сбор и использование массовых данных геолокация,криминальныезаписи,соцсетигеолокация, криминальные записи, соцсетигеолокация,криминальныезаписи,соцсети может нарушать требования о законности, минимизации, целевом использовании и безопасности данных аналогичноGDPRилинациональнымзаконамозащитеданныханалогично GDPR или национальным законам о защите данныханалогичноGDPRилинациональнымзаконамозащитеданных.Процессуальные гарантии и право на защиту Решения полиции, обоснованные «чёрным ящиком», затрудняют права на справедливое разбирательство, возможность оспорить причину задержания, доступ к доказательствам и мотивацию действий полиции.Ответственность и презумпция вины Если офицеры полагаются на алгоритм как на объективный индикатор, это может привести к незаконным задержаниям и осложнить установление ответственности административной,дисциплинарной,уголовной,гражданскойадминистративной, дисциплинарной, уголовной, гражданскойадминистративной,дисциплинарной,уголовной,гражданской.Достоверность и допустимость доказательств Данные и предсказания алгоритма, использованные при задержании, могут быть оспорены в суде; отсутствие прозрачности повышает риск исключения доказательств.Проблемы закупок и контрактов Негативные последствия могут быть следствием слабых контрактных требований к поставщику безгарантийпонедискриминации,ревизиюкода,правунааудитбез гарантий по недискриминации, ревизию кода, праву на аудитбезгарантийпонедискриминации,ревизиюкода,правунааудит.
2) Цели системы: чего добиваемся
Предотвращение системной дискриминации;Юридическая проверяемость и возможность оспорить использование алгоритма;Прозрачность и подотчётность полиции и поставщиков;Техническая и организационная оценка риска и качества алгоритма;Эффективные механизмы компенсации и исправления ошибок.
3) Предлагаемая архитектура системы шагииэлементышаги и элементышагииэлементы
A. Законодательно-институционные меры
Классификация: отнести предиктивную полицию к «высокому риску» илиспецрежимили спецрежимилиспецрежим в законе об ИИ / защите данных.Требование правовой основы: использовать алгоритмы только при законном наличии целей общественной безопасности, с необходимостью и пропорциональностью, с конкретной правовой нормой.Обязательный Algorithmic Impact Assessment AIAAIAAIA / DPIA до внедрения и при существенных изменениях; публичная версия с резюме рисков и мер смягчения.Регистрация систем: реестр ИИ-систем, используемых правоохранительными органами спубличнойинформациейобихназначении,рискахирезультатахнезависимыхоценокс публичной информацией об их назначении, рисках и результатах независимых оценокспубличнойинформациейобихназначении,рискахирезультатахнезависимыхоценок.Процедуры закупок: контракты с обязательным правом на аудит, доступ к логам, обязанностью исправлять ошибки, штрафами за нарушение недискриминации.
B. Независимый надзор и аудит
Создать или назначить независимый орган государственныйомбудсменпоИИ/поправамчеловекаиликомиссиясучастиемгражданскогообществаиэкспертовгосударственный омбудсмен по ИИ/по правам человека или комиссия с участием гражданского общества и экспертовгосударственныйомбудсменпоИИ/поправамчеловекаиликомиссиясучастиемгражданскогообществаиэкспертов, ответственный за: предварительную оценку AIAAIAAIA, регулярные независимые аудиты алгоритмов и данных;публикацию отчётов и рекомендаций;право инициировать приостановление использования при существенном риске.Требование внешнего аудита перед запуском и периодических напр.,каждые6–12мес.напр., каждые 6–12 мес.напр.,каждые6–12мес. ревизий; внеплановые аудиты по жалобам.
C. Технические требования к алгоритмам и данным
Документация: model cards и data sheets описаниеданных,метриккачества,возможныхограничений,групп,накоторыхмодельобучаласьописание данных, метрик качества, возможных ограничений, групп, на которых модель обучаласьописаниеданных,метриккачества,возможныхограничений,групп,накоторыхмодельобучалась.Логи и трассируемость: обязательный журнал входов/предсказаний, решений офицеров, использовавших предсказание timestamp,гео,IDмодели/версии,сопутствующиефакторыtimestamp, гео, ID модели/версии, сопутствующие факторыtimestamp,гео,IDмодели/версии,сопутствующиефакторы для аудита и судебного контроля.Оценка справедливости: регулярное тестирование на смещение по защищённым признакам раса,этничность,религия,языкит.д.раса, этничность, религия, язык и т.д.раса,этничность,религия,языкит.д. с заранее установленными метриками и порогами disparateimpact,falsepositive/negativeratesпоподгруппам,equalizedoddsипр.disparate impact, false positive/negative rates по подгруппам, equalized odds и пр.disparateimpact,falsepositive/negativeratesпоподгруппам,equalizedoddsипр.. Принять политическое решение, какие метрики и допустимые отклонения применяются.Коррекция смещений: если обнаруживается системное смещение — приостановка применения соответствующих рекомендаций до исправления, внедрение методов коррекции reweighing,adversarialdebiasing,constraintsreweighing, adversarial debiasing, constraintsreweighing,adversarialdebiasing,constraints, и повторная валидация.Ограничение использования «чёрного ящика»: требование объяснимых моделей или механизмов объяснения локальныеобъяснения,важностипризнаковлокальные объяснения, важности признаковлокальныеобъяснения,важностипризнаков, особенно там, где предсказание влияет на личные свободы.Human-in-the-loop: алгоритм даёт рекомендации, а окончательное решение принимает человек; обязательная запись обоснования, если офицер отклонил или последовал рекомендациям.Минимизация данных: использовать только необходимые признаки; избегать использования репрессивных корреляций например,почтовыйиндекскакпроксиэтничностибезпроверкисправедливостинапример, почтовый индекс как прокси этничности без проверки справедливостинапример,почтовыйиндекскакпроксиэтничностибезпроверкисправедливости.
D. Прозрачность и доступ
Публичные отчёты: периодические публичные отчёты о влиянии предиктивной полиции статистикапоарестам/преступлениям,распределениепогруппам,результатыаудитовстатистика по арестам/преступлениям, распределение по группам, результаты аудитовстатистикапоарестам/преступлениям,распределениепогруппам,результатыаудитов.Доступ для защиты: право подозреваемых/защитников получать информацию об использовании алгоритма в их деле, включая влияние на решение; механизм защищённого доступа к материалам алгоритма под судебным контролем.Правила раскрытия: баланс между безопасностью/интеллектуальной собственностью и правом на судебную защиту; возможна escrow-схема с доступом в суде/независимому аудитору.
E. Ответственность и санкции
Административная/дисциплинарная ответственность для руководства полиции при несоблюдении процедур и требований.Гражданско-правовая ответственность: право на компенсацию для лиц, пострадавших от дискриминационных действий.Уголовная ответственность при умышленном злоупотреблении системой или сокрытии нарушений.Судебная практика: суды должны иметь право исключать доказательства, полученные с нарушением требований по недискриминации/прощупности.
F. Жалобы, исправление и взаимодействие с общественностью
Упрощённый механизм жалоб для населения и быстрого рассмотрения; возможность временной приостановки использования в отдельных районах по результатам жалоб.Вовлечение общин особеннозатронутыхособенно затронутыхособеннозатронутых в контрольные советы и при разработке критериев справедливости.Обучение офицеров: обязательная подготовка по интерпретации результатов, правовым ограничениям и антидискриминационной практике.
4) Оценка эффективности и показатели мониторинга
KPI правовой безопасности: число жалоб, нормативные нарушения, результаты независимых аудитов.KPI по справедливости: FPR/FNR по группам, disparate impact ratio, количество отклонённых рекомендаций офицерами и причины.KPI операционные: точность предсказаний, уменьшение преступлений сучётомвозможныхпобочныхэффектовс учётом возможных побочных эффектовсучётомвозможныхпобочныхэффектов, изменения в профилировании районов.Пороговые механизмы: заранее определённые пороги по метрикам справедливости, при превышении — приостановка использования и исправление.
5) Практический план внедрения поэтапнопоэтапнопоэтапно
Моратоний/оценка: временная приостановка использования предиктивных систем до оценки DPIA/AIA.Требование полной документации поставщика: код, данные, валидационные тесты, model cards.Предварительная независимая оценка и общественное обсуждение.Внедрение пилота с ограниченным набором функций, human-in-the-loop, активным мониторингом.Регулярный публичный отчёт + внешние аудиты.Масштабирование под строгими гарантиями и возможностью приостановки.
6) Технические замечания и ограничения
Никакая модель не «устраняет предвзятость» полностью — необходимы организационные и правовые гарантии.Trade-offs между метриками справедливости нельзяодновременнооптимизироватьвсенельзя одновременно оптимизировать всенельзяодновременнооптимизироватьвсе. Выбор метрик — политико-правовой, а не только технический.Часто источники смещения — данные историческиеаресты,полицейскаяпрактикаисторические аресты, полицейская практикаисторическиеаресты,полицейскаяпрактика — их нужно корректировать на уровне политики анетолькоMLа не только MLанетолькоML.
«Использование автоматизированных систем, влияющих на решение о свободе и передвижении патрулирование,приоритетназадержаниеит.п.патрулирование, приоритет на задержание и т.п.патрулирование,приоритетназадержаниеит.п., допускается только при наличии письменной правовой основы, предварительной оценке воздействия, независимого аудита и с обеспечением возможности доступа к материалам системы судебному контролю».«Поставщики обязаны передавать правоохранительным органам и независимым аудиторам полный доступ к исходным данным, моделям и логам в режиме, не нарушающем безопасность, или обеспечивать их хранение в эскроу для судебного доступа».
8) Что делать немедленно рекомендациирекомендациирекомендации
Приостановить использование системы для принятия решений о задержаниях до проведения независимого AIA/DPIA.Выпустить публичное заявление о шагах и механизмах жалоб.Организовать независимый аудит данных и метрик по группам, опубликовать краткие итоги.Ввести обязательный human-in-the-loop и запись причин принятия решения офицером.
Заключение Правовое решение проблемы требует сочетания: юридических гарантий законность,необходимость,пропорциональностьзаконность, необходимость, пропорциональностьзаконность,необходимость,пропорциональность, институционального контроля независимыеаудиты,реестрнезависимые аудиты, реестрнезависимыеаудиты,реестр, технических средств логирование,тестированиенасмещение,объяснимостьлогирование, тестирование на смещение, объяснимостьлогирование,тестированиенасмещение,объяснимость и механизмов ответственности санкции,компенсации,судебнаяпроверкасанкции, компенсации, судебная проверкасанкции,компенсации,судебнаяпроверка. Только такой интегрированный подход обеспечивает, что предиктивные инструменты не станут инструментом системной дискриминации, а будут соответствовать принципам правового государства и прав человека.
Если хотите, могу:
Подготовить шаблон AIA/DPIA для такой системы;Сформулировать образцы контрактных пунктов для закупки ИИ-систем;Предложить набор конкретных метрик и порогов для оценки смещения применительно к вашей стране.
Кратко: использование предиктивной полиции создаёт комплекс правовых рисков — дискриминация, нарушение права на равную защиту и неприкосновенность частной жизни, нарушение принципов законности и справедливости при задержаниях и возможная недопустимость доказательств. Чтобы снизить риск и предотвратить дискриминацию, нужно сочетание правового регулирования, институционального надзора, технических мер и процедур прозрачности/ответственности.
1) Основные правовые проблемы
Дискриминация и равенство перед закономАлгоритм может системно непреднамереннонепреднамереннонепреднамеренно давать более высокий риск для меньшинств, что нарушает запрет на дискриминацию конституция,международныестандарты—ICCPR,ECHRидр.конституция, международные стандарты — ICCPR, ECHR и др.конституция,международныестандарты—ICCPR,ECHRидр..Нарушение права на частную жизнь и обработки персональных данных
Сбор и использование массовых данных геолокация,криминальныезаписи,соцсетигеолокация, криминальные записи, соцсетигеолокация,криминальныезаписи,соцсети может нарушать требования о законности, минимизации, целевом использовании и безопасности данных аналогичноGDPRилинациональнымзаконамозащитеданныханалогично GDPR или национальным законам о защите данныханалогичноGDPRилинациональнымзаконамозащитеданных.Процессуальные гарантии и право на защиту
Решения полиции, обоснованные «чёрным ящиком», затрудняют права на справедливое разбирательство, возможность оспорить причину задержания, доступ к доказательствам и мотивацию действий полиции.Ответственность и презумпция вины
Если офицеры полагаются на алгоритм как на объективный индикатор, это может привести к незаконным задержаниям и осложнить установление ответственности административной,дисциплинарной,уголовной,гражданскойадминистративной, дисциплинарной, уголовной, гражданскойадминистративной,дисциплинарной,уголовной,гражданской.Достоверность и допустимость доказательств
Данные и предсказания алгоритма, использованные при задержании, могут быть оспорены в суде; отсутствие прозрачности повышает риск исключения доказательств.Проблемы закупок и контрактов
Негативные последствия могут быть следствием слабых контрактных требований к поставщику безгарантийпонедискриминации,ревизиюкода,правунааудитбез гарантий по недискриминации, ревизию кода, праву на аудитбезгарантийпонедискриминации,ревизиюкода,правунааудит.
2) Цели системы: чего добиваемся
Предотвращение системной дискриминации;Юридическая проверяемость и возможность оспорить использование алгоритма;Прозрачность и подотчётность полиции и поставщиков;Техническая и организационная оценка риска и качества алгоритма;Эффективные механизмы компенсации и исправления ошибок.3) Предлагаемая архитектура системы шагииэлементышаги и элементышагииэлементы
A. Законодательно-институционные меры
Классификация: отнести предиктивную полицию к «высокому риску» илиспецрежимили спецрежимилиспецрежим в законе об ИИ / защите данных.Требование правовой основы: использовать алгоритмы только при законном наличии целей общественной безопасности, с необходимостью и пропорциональностью, с конкретной правовой нормой.Обязательный Algorithmic Impact Assessment AIAAIAAIA / DPIA до внедрения и при существенных изменениях; публичная версия с резюме рисков и мер смягчения.Регистрация систем: реестр ИИ-систем, используемых правоохранительными органами спубличнойинформациейобихназначении,рискахирезультатахнезависимыхоценокс публичной информацией об их назначении, рисках и результатах независимых оценокспубличнойинформациейобихназначении,рискахирезультатахнезависимыхоценок.Процедуры закупок: контракты с обязательным правом на аудит, доступ к логам, обязанностью исправлять ошибки, штрафами за нарушение недискриминации.B. Независимый надзор и аудит
Создать или назначить независимый орган государственныйомбудсменпоИИ/поправамчеловекаиликомиссиясучастиемгражданскогообществаиэкспертовгосударственный омбудсмен по ИИ/по правам человека или комиссия с участием гражданского общества и экспертовгосударственныйомбудсменпоИИ/поправамчеловекаиликомиссиясучастиемгражданскогообществаиэкспертов, ответственный за:предварительную оценку AIAAIAAIA, регулярные независимые аудиты алгоритмов и данных;публикацию отчётов и рекомендаций;право инициировать приостановление использования при существенном риске.Требование внешнего аудита перед запуском и периодических напр.,каждые6–12мес.напр., каждые 6–12 мес.напр.,каждые6–12мес. ревизий; внеплановые аудиты по жалобам.
C. Технические требования к алгоритмам и данным
Документация: model cards и data sheets описаниеданных,метриккачества,возможныхограничений,групп,накоторыхмодельобучаласьописание данных, метрик качества, возможных ограничений, групп, на которых модель обучаласьописаниеданных,метриккачества,возможныхограничений,групп,накоторыхмодельобучалась.Логи и трассируемость: обязательный журнал входов/предсказаний, решений офицеров, использовавших предсказание timestamp,гео,IDмодели/версии,сопутствующиефакторыtimestamp, гео, ID модели/версии, сопутствующие факторыtimestamp,гео,IDмодели/версии,сопутствующиефакторы для аудита и судебного контроля.Оценка справедливости: регулярное тестирование на смещение по защищённым признакам раса,этничность,религия,языкит.д.раса, этничность, религия, язык и т.д.раса,этничность,религия,языкит.д. с заранее установленными метриками и порогами disparateimpact,falsepositive/negativeratesпоподгруппам,equalizedoddsипр.disparate impact, false positive/negative rates по подгруппам, equalized odds и пр.disparateimpact,falsepositive/negativeratesпоподгруппам,equalizedoddsипр.. Принять политическое решение, какие метрики и допустимые отклонения применяются.Коррекция смещений: если обнаруживается системное смещение — приостановка применения соответствующих рекомендаций до исправления, внедрение методов коррекции reweighing,adversarialdebiasing,constraintsreweighing, adversarial debiasing, constraintsreweighing,adversarialdebiasing,constraints, и повторная валидация.Ограничение использования «чёрного ящика»: требование объяснимых моделей или механизмов объяснения локальныеобъяснения,важностипризнаковлокальные объяснения, важности признаковлокальныеобъяснения,важностипризнаков, особенно там, где предсказание влияет на личные свободы.Human-in-the-loop: алгоритм даёт рекомендации, а окончательное решение принимает человек; обязательная запись обоснования, если офицер отклонил или последовал рекомендациям.Минимизация данных: использовать только необходимые признаки; избегать использования репрессивных корреляций например,почтовыйиндекскакпроксиэтничностибезпроверкисправедливостинапример, почтовый индекс как прокси этничности без проверки справедливостинапример,почтовыйиндекскакпроксиэтничностибезпроверкисправедливости.D. Прозрачность и доступ
Публичные отчёты: периодические публичные отчёты о влиянии предиктивной полиции статистикапоарестам/преступлениям,распределениепогруппам,результатыаудитовстатистика по арестам/преступлениям, распределение по группам, результаты аудитовстатистикапоарестам/преступлениям,распределениепогруппам,результатыаудитов.Доступ для защиты: право подозреваемых/защитников получать информацию об использовании алгоритма в их деле, включая влияние на решение; механизм защищённого доступа к материалам алгоритма под судебным контролем.Правила раскрытия: баланс между безопасностью/интеллектуальной собственностью и правом на судебную защиту; возможна escrow-схема с доступом в суде/независимому аудитору.E. Ответственность и санкции
Административная/дисциплинарная ответственность для руководства полиции при несоблюдении процедур и требований.Гражданско-правовая ответственность: право на компенсацию для лиц, пострадавших от дискриминационных действий.Уголовная ответственность при умышленном злоупотреблении системой или сокрытии нарушений.Судебная практика: суды должны иметь право исключать доказательства, полученные с нарушением требований по недискриминации/прощупности.F. Жалобы, исправление и взаимодействие с общественностью
Упрощённый механизм жалоб для населения и быстрого рассмотрения; возможность временной приостановки использования в отдельных районах по результатам жалоб.Вовлечение общин особеннозатронутыхособенно затронутыхособеннозатронутых в контрольные советы и при разработке критериев справедливости.Обучение офицеров: обязательная подготовка по интерпретации результатов, правовым ограничениям и антидискриминационной практике.4) Оценка эффективности и показатели мониторинга
KPI правовой безопасности: число жалоб, нормативные нарушения, результаты независимых аудитов.KPI по справедливости: FPR/FNR по группам, disparate impact ratio, количество отклонённых рекомендаций офицерами и причины.KPI операционные: точность предсказаний, уменьшение преступлений сучётомвозможныхпобочныхэффектовс учётом возможных побочных эффектовсучётомвозможныхпобочныхэффектов, изменения в профилировании районов.Пороговые механизмы: заранее определённые пороги по метрикам справедливости, при превышении — приостановка использования и исправление.5) Практический план внедрения поэтапнопоэтапнопоэтапно
Моратоний/оценка: временная приостановка использования предиктивных систем до оценки DPIA/AIA.Требование полной документации поставщика: код, данные, валидационные тесты, model cards.Предварительная независимая оценка и общественное обсуждение.Внедрение пилота с ограниченным набором функций, human-in-the-loop, активным мониторингом.Регулярный публичный отчёт + внешние аудиты.Масштабирование под строгими гарантиями и возможностью приостановки.6) Технические замечания и ограничения
Никакая модель не «устраняет предвзятость» полностью — необходимы организационные и правовые гарантии.Trade-offs между метриками справедливости нельзяодновременнооптимизироватьвсенельзя одновременно оптимизировать всенельзяодновременнооптимизироватьвсе. Выбор метрик — политико-правовой, а не только технический.Часто источники смещения — данные историческиеаресты,полицейскаяпрактикаисторические аресты, полицейская практикаисторическиеаресты,полицейскаяпрактика — их нужно корректировать на уровне политики анетолькоMLа не только MLанетолькоML.7) Примеры конкретных правил/формулировок длязаконодательства/положенийдля законодательства/положенийдлязаконодательства/положений
«Использование автоматизированных систем, влияющих на решение о свободе и передвижении патрулирование,приоритетназадержаниеит.п.патрулирование, приоритет на задержание и т.п.патрулирование,приоритетназадержаниеит.п., допускается только при наличии письменной правовой основы, предварительной оценке воздействия, независимого аудита и с обеспечением возможности доступа к материалам системы судебному контролю».«Поставщики обязаны передавать правоохранительным органам и независимым аудиторам полный доступ к исходным данным, моделям и логам в режиме, не нарушающем безопасность, или обеспечивать их хранение в эскроу для судебного доступа».8) Что делать немедленно рекомендациирекомендациирекомендации
Приостановить использование системы для принятия решений о задержаниях до проведения независимого AIA/DPIA.Выпустить публичное заявление о шагах и механизмах жалоб.Организовать независимый аудит данных и метрик по группам, опубликовать краткие итоги.Ввести обязательный human-in-the-loop и запись причин принятия решения офицером.Заключение
Правовое решение проблемы требует сочетания: юридических гарантий законность,необходимость,пропорциональностьзаконность, необходимость, пропорциональностьзаконность,необходимость,пропорциональность, институционального контроля независимыеаудиты,реестрнезависимые аудиты, реестрнезависимыеаудиты,реестр, технических средств логирование,тестированиенасмещение,объяснимостьлогирование, тестирование на смещение, объяснимостьлогирование,тестированиенасмещение,объяснимость и механизмов ответственности санкции,компенсации,судебнаяпроверкасанкции, компенсации, судебная проверкасанкции,компенсации,судебнаяпроверка. Только такой интегрированный подход обеспечивает, что предиктивные инструменты не станут инструментом системной дискриминации, а будут соответствовать принципам правового государства и прав человека.
Если хотите, могу:
Подготовить шаблон AIA/DPIA для такой системы;Сформулировать образцы контрактных пунктов для закупки ИИ-систем;Предложить набор конкретных метрик и порогов для оценки смещения применительно к вашей стране.