Кратко — какие проблемы и как их минимизировать.
Юридические проблемы
- Приватность и защита данных: сбор/хранение чувствительных персональных данных, нарушение принципов GDPR (в т.ч. обязательная оценка воздействия — DPIA).
- Автоматические решения и право на объяснение: риск принятия решений без надлежащего человеческого контроля (см. запрет/ограничения автоматизации в GDPR art.22).
- Отсутствие прозрачности и аудитируемости: «черный ящик» мешает проверке законности действий правоохранительных органов.
- Ответственность и подотчетность: неясно, кто несёт ответственность за ошибочные/незаконные предсказания — разработчик, поставщик или орган власти.
- Процессуальные права: использование ИИ может нарушать право на справедливое разбирательство, презумпцию невиновности, право обжаловать доказательства.
- Несоответствие нормам недискриминации: алгоритм может воспроизводить или усиливать дискриминацию по полу, расе, месту жительства и др.
Этические проблемы
- Системная предвзятость и усиление неравенства: исторические данные содержат дискриминацию, алгоритмы её закрепляют.
- Секретность и легитимность: общественное недоверие при сокрытии методов/данных.
- Стигматизация и вторичные эффекты: «предсказательная» метка может вести к повышенному надзору и замкнутому кругу арестов.
- Пропорциональность и гуманность: риск чрезмерного вмешательства в права людей на основе вероятностных выводов.
Как выстроить правовое регулирование (конкретные механизмы)
1. Принципы регулирования: законность, необходимость, пропорциональность, прозрачность, подотчетность, минимизация данных, недопущение дискриминации.
2. Обязательные процедуры до внедрения:
- DPIA / Algorithmic Impact Assessment с анализом рисков дискриминации и прав человека.
- Публичное уведомление и консультации с заинтересованными группами.
3. Ограничения по использованию:
- Запрет полностью автоматических решений, влияющих на существенные права; требование «человека в цепочке» при критических решениях.
- Запрет/ограничение применения ИИ для категорий решений (например, целевая слежка по демографическим признакам).
4. Прозрачность и проверяемость:
- Обязательное логирование входов, выходов, версий модели и данных для аудита.
- Доступ независимым аудиторам к исходному коду, моделям или репликам (с защитой персональных данных и коммерческой тайны).
5. Технические требования по недискриминации:
- Обязательное тестирование на справедливость по заранее определённым метрикам (примерные формулы):
- Disparate Impact Ratio: $\mathrm{DIR}=\frac{P(\hat{Y}=1|A)}{P(\hat{Y}=1|B)}$.
- Statistical Parity Difference: $\mathrm{SPD}=P(\hat{Y}=1|A)-P(\hat{Y}=1|B)$.
- Equalized odds: требовать $TP{R}_A=TP{R}_B$ и $FP{R}_A=FP{R}_B$ для защищённых групп.
- Внедрение допустимых порогов: например, требование $|\mathrm{SPD}|\le \epsilon$ для малой $\epsilon$.
- Применение приёмов исправления предвзятости (pre-/in-/post-processing) и тестов на прокси-переменные.
6. Непрерывный мониторинг и отчётность:
- Обязательная публикация периодических отчётов об эффективности и распределении последствий по группам.
- Автоматическое выявление дрейфа модели и регулярное переобучение/ретестирование.
7. Независимый надзор и правовые средства:
- Создание независимого органа/комиссии с правом проводить аудиты и приостанавливать использование систем.
- Право пострадавших на обжалование, объяснение решения и возмещение вреда; административные и уголовные санкции за незаконное использование.
8. Стандарты и сертификация:
- Введение обязательных технических стандартов (ISO/IEEE‑стандарты, тестовые наборы) и обязательной сертификации перед вводом в эксплуатацию.
9. Защита данных и минимизация риска:
- Ограничение набора признаков, удаление прокси-атрибутов, применение дифференциальной приватности и псевдонимизации при необходимости.
10. Социальные меры:
- Обучение сотрудников полиции правовым и этическим аспектам ИИ; привлечение общественности и НКО к контролю.
Ключевая идея: сочетание юридических запретов/правил и технических мер + независимый контроль и доступ к средствам обжалования. Регулирование должно требовать доказательств того, что система не дискриминирует, и обеспечивать срочные корректирующие меры при выявлении вреда.