Расследование причин
- Сбор и воспроизведение: зафиксировать версии данных, модель, метрики, пороговые значения и логи; воспроизвести поведение на тестовой выборке, разбитой по группам.
- Диагностика данных: проверить дисбаланс выборки, пропуски, ошибки разметки, смещение отбора (sampling bias), прокси‑признаки (например, почтовый индекс). Выяснить, использовались ли исторические решения как метки (label bias).
- Анализ метрик по группам: сравнить показатели для группы A (пострадавшей) и остальных:
- статистическое паритетное различие: $\Delta =P(\hat{Y}=1\mid A=a)-P(\hat{Y}=1\mid A=b)$;
- коэффициент диспропорции (disparate impact): $\mathrm{DI}=\frac{P(\hat{Y}=1\mid A=a)}{P(\hat{Y}=1\mid A=b)}$;
- равные шансы (equalized odds): проверить, что $P(\hat{Y}=1\mid Y=1,A=a)=P(\hat{Y}=1\mid Y=1,A=b)$ и $P(\hat{Y}=1\mid Y=0,A=a)=P(\hat{Y}=1\mid Y=0,A=b)$.
- Качественные интервью/аудит: опрос рекрутеров, обзор кейсов «ошибочных» решений, проверить, используют ли HR‑практики признаки, коррелирующие с демографией.
- Кауза: применять каузальные методы (DAG, do‑операции) и тесты на прокси, чтобы отличить корреляцию от причинной связи.
Методы интерпретируемости
- Глобальная интерпретируемость: feature importance (переменная важности), PDP (partial dependence), ALE (accumulated local effects).
- Локальная интерпретируемость: SHAP, LIME, counterfactual explanations (что надо изменить, чтобы прошёл кандидат).
- Инструменты для моделей: для линейных/деревянных моделей — коэффициенты, tree‑surrogate; для нейросетей — Integrated Gradients, SHAP.
- Аудит на уровне признаков‑прокси: проверить корреляцию признаков с защищённой характеристикой и влияние через декомпозицию влияния (e.g., conditional SHAP).
- Применение влияния/агентных методов: influence functions, feature attribution over subpopulations.
Коррекция модели (три уровня)
1. Данные:
- очистка и унификация меток; увеличение репрезентативности через ресемплирование или сбор дополнительных данных;
- переваживание/пересчёт весов: давать вес $w_i$ примерам из группы $a$ так, чтобы нивелировать дисбаланс.
2. Обучение:
- оптимизация с ограничением/штрафом на несправедливость: например,
${\min }_{\theta }\mathcal{L}(\theta )+\lambda \Phi (\theta )$,
где $\Phi$ — мера несоответствия между группами (напр., разность TPR/FPR или DI).
- специальные алгоритмы: adversarial debiasing, fair representation learning, constrained optimization (расширение SGD с учётом ограничений).
3. Пост‑обработка:
- пороговая корректировка по группам (разные пороги $t_a,t_b$);
- reject‑option classification (в зоне неуверенности выбирать более благоприятное решение для защищённой группы).
4. Валидация и мониторинг:
- тестирование на отложенных и новых данных; A/B‑тесты с человеческим контролем; непрерывный мониторинг метрик справедливости и производительности.
Юридические и этические аспекты ответственности работодателя
- Правовая база (примерно; зависит от юрисдикции):
- различают прямую дискриминацию (disparate treatment) и косвенную/непреднамеренную (disparate impact);
- в США — законы EEOC, в ЕС — антидискриминационные директивы и GDPR (обработка данных, автоматизированные решения); в других странах — национальные законы.
- Ответственность работодателя:
- обязанность не допускать дискриминации при найме; может нести административную/гражданскую/уголовную ответственность, штрафы и обязательства по исправлению;
- работодатель должен доказать «business necessity» и что нет менее дискриминационных альтернатив.
- Прозрачность и права кандидатов:
- обязанность информировать о применении автоматизированного решения, возможно — объяснять решения (право на объяснение/информацию по GDPR);
- обязанность обеспечивать человеческий контроль и возможность обжалования решений.
- Этические требования:
- справедливость, равный доступ к возможностям; минимизация вреда; уважение приватности; документация решений (model cards, datasheets).
Механизмы регулирования и надзора
- Превентивные меры:
- обязательные Algorithmic Impact Assessments (AIA) и оценка рисков перед внедрением;
- стандарты и сертификация «безопасных/справедливых» моделей, кодексы практики.
- Аудиты:
- независимые внешние аудиты (включая доступ к коду/данным под NDA или через интерфейсы тестирования);
- регулярные внутренние аудиты и публичные отчёты о метриках справедливости.
- Правоприменение:
- обязательная регистрация чувствительных систем, санкции за нарушения, требование восстановительных мер для пострадавших.
- Технические требования:
- требование журналирования, объяснимости, возможности воспроизведения, ограничение использования чувствительных данных.
- Поддержка и стимулы:
- guidance от регуляторов, «погрешность безопасной гавани» при выполнении лучших практик, гранты на независимые исследования.
Короткий практический чек‑лист действий сразу
- Остановить автоматическую постановку/снижение порога для пострадавшей группы (или поставить человеческий контроль).
- Провести срочный внутренний аудит данных и метрик по группам.
- Ввести мониторинг справедливости, уведомить юридический отдел и заинтересованных лиц, при необходимости — регулятора.
- Исправить модель через описанные методы и документировать всё.
(Если нужно, могу предложить конкретную последовательность тестов и код‑шаблоны для вычисления указанных метрик.)