Кратко и по делу — набор правовых и этических мер по расследованию и исправлению предвзятости алгоритмической системы отбора на гранты.
1) Немедленные защитные меры
- Приостановить автоматическое принятие решений или ввести обязательную человеческую проверку для всех спорных случаев.
- Зафиксировать и сохранить все версии данных, моделей, логов и конфигураций (chain of custody).
2) Техническое расследование
- Аудит данных: проверить смещения в обучающей выборке, пропуски, качества меток и наличие прокси-признаков для защищённых групп.
- Аудит модели: провести код‑ревью, воспроизведение обучения, тестирование на отсечённых контрольных подвыборках.
- Оценка справедливости через метрики:
- статистическое равновесие: $SPD=P(\hat{Y}=1\mid A=a)-P(\hat{Y}=1\mid A=b)$;
- disparate impact (отношение): $DI=\frac{P(\hat{Y}=1\mid A=a)}{P(\hat{Y}=1\mid A=b)}$ (правило 80%: $DI<0.8$ — потенциальный adverse impact);
- равенство шансов / equalized odds: $TP{R}_a=P(\hat{Y}=1\mid Y=1,A=a)$, $FP{R}_a=P(\hat{Y}=1\mid Y=0,A=a)$ и проверка $\Delta TPR=TP{R}_a-TP{R}_b$, $\Delta FPR=FP{R}_a-FP{R}_b$.
- Когнитивный/каузальный анализ: проверить, являются ли признаки прокси для защищённых атрибутов; при необходимости применить причинный анализ или counterfactual fairness: $P({\hat{Y}}_{A\leftarrow a}=1\mid X=x)\stackrel{?}{=}P({\hat{Y}}_{A\leftarrow b}=1\mid X=x)$.
3) Правовые механизмы
- Сообщить в соответствующие регулирующие органы (антидискриминационные службы, надзор по защите данных) и соблюдать требования по уведомлению пострадавших.
- Соблюдать нормы защиты персональных данных (например, GDPR в ЕС): законная база обработки, минимизация данных, права субъектов данных.
- Сохранить доказательства для возможных административных или судебных разбирательств; подключить юридическую службу университета.
- Обеспечить механизм жалоб и обжалования решений для затронутых заявителей; рассмотреть компенсации или пересмотр решений в пользу пострадавших.
4) Исправление модели и контроль качества
- Корректирующие методы:
- предобработка: балансировка выборки или reweighting по группам;
- ин-лёрнинг: обучение с ограничением на метрику справедливости или регуляризацией;
- постобработка: корректировка порогов по группам (calibrated equalized odds).
- Удаление/редизайн прокси‑признаков и добавление защищённых атрибутов в контролируемый анализ (иногда полезно иметь информацию о принадлежности к группе для корректной коррекции).
- Внедрить автоматический мониторинг метрик справедливости и сигнализацию при отклонениях.
5) Прозрачность, ответственность и профилактика
- Провести независимый внешний аудит (независимые эксперты, омбудсмен, общественные организации).
- Опубликовать отчёт об инциденте: методика, результаты аудита, принятые меры (публично или внутренне в зависимости от конфиденциальности).
- Ввести необходимые процедуры: алгоритмическая карта деятельности (model card), datasheet для данных, обязательная оценка воздействия на права (AIA/Algorithmic Impact Assessment) при внедрении новых систем.
- Создать комитет по этике/надзору, чёткие SLA на переаудит, и процедуру для регулярного пересмотра и обновления моделей.
6) Этические принципы работы
- Принцип непричинения вреда, справедливости, прозрачности и подотчётности.
- Вовлечение заинтересованных сторон (представители затронутых групп, студенческие союзы, факультеты) в процессе исправления и выработки критериев отбора.
- Обеспечить объяснимость решений для заявителей и возможность человеческого пересмотра.
Рекомендуемая последовательность действий: немедленно ограничить использование модели → провести техничесно‑правовой аудит → уведомить пострадавших и регуляторов → внедрить корректировки и мониторинг → опубликовать результаты и установить превентивные процедуры.
Если нужно, могу предложить чеклист для аудита и набор кода/метрик для измерения перечисленных показателей.