Кратко и по делу — что нужно собрать, какие метрики считать и какие методы применять, чтобы установить причинно-следственную связь между алгоритмом платформы и исходами кандидатов.
1) Какие данные нужны
- Логи кандидатов: уникальный id, временные метки, этапы воронки (просмотр, отклик, приглашение, интервью, оффер), итоговый исход.
- Признаковые данные кандидатов $X$: навыки, опыт, образование, геолокация и т.п. (включая все переменные, которые алгоритм использует).
- Защищённые признаки $A$: пол, раса/этничность, возраст, инвалидность (или их надежные прокси) — для тестов на дискриминацию; фиксация правовых ограничений и согласий.
- Выходы алгоритма: ранжировочные оценки/скоринг $S$, пороговые решения, версия модели, дата/время релиза.
- Контекст вакансии $J$: требования, отрасль, зарплата, локация.
- Поведение рекрутеров/HR (интервенции, модификации результатов).
- История обучающих данных и изменений модели (версии, гиперпараметры).
- Возможные инструменты аудита: синтетические резюме/учёт контроля (correspondence testing).
2) Что считать (метрики)
- Исходы: вероятность приглашения/найма $Y$.
- Групповые различия: разница в долях приглашений $\Delta =P(Y=1|A=a)-P(Y=1|A=b)$; disparate impact ratio $=\frac{P(Y=1|A=a)}{P(Y=1|A=b)}$.
- Fairness-метрики: statistical parity, equalized odds (TPR/FPR по группам), calibration by group.
- Меры влияния алгоритма: средний эффект обработки (ATE) и условные эффекты (CATE).
3) Как определить причинность — стратегии
a) Рандомизированные эксперименты (золотой стандарт)
- A/B-тестирование версий алгоритма: случайное назначение кандидата/вакансии на алгоритм $T\in \{0,1\}$.
- Оценка ATE: $\text{ATE}=E[Y(1)-Y(0)]$ и его выборочная оценка.
- IPW-оценка (при неидеальном рандоме): $\widehat{ATE}=\frac{1}{n}{\sum }_i\left(\frac{T_i{Y}_i}{\hat{e}(X_i)}-\frac{(1-T_i)Y_i}{1-\hat{e}(X_i)}\right)$, где $\hat{e}(X)$ — вероятность назначения.
b) Корреспондентные тесты (полулабораторные)
- Отправка пар идентичных резюме, различающихся только защищённой характеристикой; измерение различий в приглашениях — прямой тест дискриминации.
c) Наблюдательные методы (если рандома нет)
- Подгонка по конфoundерам: регрессия $Y\sim T+X$ с контролем всех наблюдаемых $X$.
- Пропensity score matching / weighting, чтобы сбалансировать распределения признаков.
- Difference-in-differences (DiD), если есть изменения алгоритма во времени: ${\Delta }_{DiD}=({\bar{Y}}_{post,treated}-{\bar{Y}}_{pre,treated})-({\bar{Y}}_{post,control}-{\bar{Y}}_{pre,control})$.
- Regression discontinuity, если алгоритм использует порог по скору: сравнивать кандидатов чуть выше/ниже порога.
- Инструментальные переменные (IV), если есть источник экзогенной вариации, влияющий на экспозицию к алгоритму, но не напрямую на исход.
d) Структурные/контрфактуальные методы
- Построение DAG/SCM, проверка условий back-door/front-door; использование медиативного анализа, чтобы разделить прямой эффект алгоритма и эффект через входные признаки.
- Оценка CATE по группам: $E[Y(1)-Y(0)\mid A=a]$.
4) Практический рабочий план
- Собрать и верифицировать данные (логирование версии модели и score обязательно).
- Начать с простых описательных метрик (selection rates по группам) и тестов значимости.
- Провести рандомизацию, если возможно — A/B наиболее надёжна.
- Если рандома нет — применить PSM/IPW, DiD, RD, IV, с подробной диагностикой балансировки и устойчивости.
- Провести аудиты с синтетическими резюме и анализ «что‑если» (counterfactual): изменять отдельные признаки и смотреть влияние на $S$ и $Y$.
- Проанализировать посредников: насколько эффект идёт через входные признаки vs. через сам алгоритм (mediation).
- Документировать ограничения, провести robustness checks (placebo-тесты, falsification).
5) Диагностика и валидация
- Баланс covariates после сопоставления; проверки паралельных трендов для DiD.
- Чувствительность к несоблюдённым confounders (Rosenbaum bounds).
- Отдельные проверки на proxy‑дискриминацию (незащищённые признаки, которые коррелируют с $A$).
6) Ограничения и риски
- Неполные/ошибочные данные, скрытые confounders, утечка защищённых атрибутов.
- Этические и правовые требования (сбор и хранение чувствительных данных).
- Интеграция результатов: коррекция алгоритма может поменять распределение кандидатов и вызвать вторичные эффекты.
Короткое резюме: собрать детальные логи (включая версию модели и score), измерять исходы по группам, по возможности проводить рандомизацию (A/B) или корреспондентные тесты; при отсутствии рандома применять PSM/IPW, DiD, RD или IV с тщательной диагностикой; использовать SCM/DAG и медиативный анализ для разделения прямого эффекта алгоритма и эффектов через признаки.