Коротко, по сути, с шагами и требованиями.
1) Немедленные шаги (при обнаружении дискриминации)
- Приостановить или ограничить использование модели в принятии решений, пока проводится расследование.
- Сохранить логи, версии модели и датасеты (репродуцируемость), назначить ответственных.
- Уведомить руководство, юридический отдел и заинтересованные стороны (HR, представители пострадавших групп).
2) Выявление и диагностика причины
- Просчитать метрики справедливости по защищённым признакам и подконтрольным подгруппам:
- демографическое равенство (difference): ${\Delta }_{DP}=P(\hat{Y}=1\mid A=a)-P(\hat{Y}=1\mid A=b)$
- disparate impact (ratio): $\mathrm{DI}=\frac{P(\hat{Y}=1\mid A=a)}{P(\hat{Y}=1\mid A=b)}$
- equalized odds (разница TPR/FPR): ${\Delta }_{TPR}=TP{R}_a-TP{R}_b$ и ${\Delta }_{FPR}=FP{R}_a-FP{R}_b$
- calibration по группам.
- Статистические тесты и бутстрэп для оценки значимости различий.
- Анализ признаков: корреляции с защищёнными признаками, proxy-features, влияние через feature importance/SHAP/Counterfactuals.
- Поиск проблем в разметке: систематические смещения аннотаторов.
3) Исправление (технические подходы)
- Краткосрочно: пост‑процессинг (например, Equalized Odds postprocessing — Hardt et al.) или пороговая корректировка по группам.
- Среднесрочно: обучение с учётом справедливости — reweighing, constrained optimization (ограничения на ${\Delta }_{DP}$ или ${\Delta }_{TPR}$), adversarial de-biasing.
- Долгосрочно: переработка датасета (добор/пересэмплинг/валидация разметки), удаление/переработка proxy‑признаков, улучшение качества меток.
- Валидация: внешний независимый аудит и A/B тестирование с контролем fairness-метрик до релиза.
4) Организационные и юридические меры
- Политика "stop-the-line": если нарушение найдено — продукт останавливают до исправления.
- Установить ответственных за этику/справедливость (Ethics officer, ML‑ops с обязанностями по fairness).
- Включить юридическую проверку на соответствие законодательству (anti-discrimination, GDPR и пр.).
- Обязательная коммуникация и, при необходимости, компенсация/исправление для пострадавших кандидатов.
5) Изменения в требованиях к данным
- Требуется сбор метаданных о защищённых признаках для аудита; если прямой сбор невозможен — безопасные анкеты, опциональное согласие, псевдонимизация, или использование защищённых окружений для анализа.
- Ясность provenance: кто, когда и как собирал/размечал данные; versioning и lineage.
- Репрезентативность: стратифицированный отбор данных, балансировка по ключевым группам или целенаправленный добор данных для малых групп.
- Качество меток: согласованность аннотации, инструкции, контроль качества.
- Минимизация сбора лишних признаков, явная оценка proxy‑признаков.
6) Изменения в процессах разработки и деплоя
- Внедрить «fairness gates» в CI/CD: автоматические тесты, считающие метрики по группам и блокирующие релиз при превышении порогов.
- Тесты на регрессию по справедливости при каждом изменении модели/данных.
- Документация: datasheets for datasets, model cards, отчёты по аудитам.
- Логирование и мониторинг в продакшене: метрики по группам, drift detection, оповещения при ухудшении.
- Человеческий контроль и возможность апелляции решения кандидата (rebuttal/recourse).
- План отката и план коммуникации в случае новых проблем.
7) Культурные и образовательные изменения
- Тренинги для разработчиков/аналитиков по проблемам смещения, proxy‑признакам и методам исправления.
- Вовлечение разнообразных команд и внешних экспертных групп, включая представителей затронутых сообществ.
8) Примеры конкретных требований/метрик в спецификации
- Установить допустимые пороги различий, например: $|{\Delta }_{TPR}|<ϵ$, где $ϵ$ определяется бизнесом и юристами и проверяется статистически.
- Обязательное наличие model card с описанием ограничений и аудита.
Кратко: немедленно остановить/ограничить использование, провести технический аудит (метрики, анализ признаков, качество данных), применить корректирующие меры (пост‑обработка, переобучение с ограничениями, правка данных), ввести организационные процессы (gates, мониторинг, ответственность, юридическая проверка) и пересмотреть требования к данным (сбор защищённых признаков для аудита, репрезентативность, provenance, защита приватности).