Ниже — компактный, практичный набор методов и проверок для вашей задачи $резюме:95$. Разобью на: $1$ методы на уровне данных, $2$ методы на уровне модели, $3$ выбор и интерпретация метрик, $4$ оценка риска систематической дискриминации и $5$ практические стратегии проверки и мониторинга.

Методы на уровне данных

РесэмплингRandom undersampling отрицательного класса — быстро и просто, но теряете информацию и рискуете переобучиться на небольшом наборе положительных/оставшихся отрицательных. Подходит как baseline.Random oversampling положительного класса — копирование редких примеров; простое, но увеличивает риск переобучения.SMOTE/варианты $SMOTE,borderline-SMOTE,ADASYN$ — генерируют синтетические положительные примеры в признаковом пространстве; полезно для табличных признаков, осторожно с текстом $нужнавекторизация$.Генерация данных для текстов: back-translation, synonym replacement, paraphrasing, условные генеративные модели $GPT-тип,VAE,GAN$ — создавать дополнительные резюме положительных примеров; контролировать качество и метки.Стратифицированные подходы: комбинировать undersampling больших классов и oversampling малых $hybrid$.Балансировка при сборе и разметкеАктивная выборка $activelearning$: выбирать примеры, которые модель считает неопределёнными, и разметка их человеком — ускоряет сбор "информативных" положительных примеров.Целевая разметка: собрать дополнительные положительные примеры $целевойресёрч/краудсорсинг$.Учет временных и когортых сдвиговСохраняйте временные метки, чтобы не смешивать когорты при обучении/тесте; при переобучении на исторические данные риск усиления устаревших паттернов.Обогащение признаковДобавьте полезные признаки $экстракциянавыков,образование,релевантныеключевыеслова$, чтобы сделать классы более разделимыми — эффективнее, чем простое ресэмплинг.

Методы на уровне модели

Взвешивание классов / cost-sensitive learningЗадайте веса классов в функции потерь $например,весinverseclassfrequencyиливесапобизнес‑стоимостиFNvsFP$. Поддерживается большинством библиотек $sklearn,XGBoost,LightGBM$.Специальные loss-функцииFocal loss $чтобыфокусироватьсянаредких/трудныхпримерах$; оптимизация для имбаланса.Алгоритмы для имбалансаBoosting/ensemble $LightGBM/XGBoost/RandomForest$ с параметрами для imbalance $scal{e}_{p}o{s}_{w}eight,clas{s}_{w}eight$.Balanced bagging/ensemble over undersampled subsets — уменьшает потерю информации при undersampling.Постобработка и порогиКалибровка вероятностей $Plattscaling,isotonic$ — важна, если нужен реальный риск/score.Подбор порога на валидации по бизнес‑метрике $maximizeexpectedutility,F\beta ,precision@kит.п.$.Если задача — ранжирование кандидатов, рассмотреть обучение ранжирующим методом $pairwise/listwise$ и метрики top‑k.Fairness-aware методыВстраивание ограничений справедливости в оптимизацию $constrainedoptimization$, adversarial debiasing, post-processing $Hardtetal.equalizedodds$ — подробнее в разделе о дискриминации.

Критерии выбора метрик качества
Ключевые замечания: при сильном дисбалансе ROC‑AUC может быть оптимистичной; PR‑кривая и метрики, ориентированные на редкий класс, информативнее.

Precision $точность$: доля истинно релевантных среди отобранных. Важна, если каждая отборная карточка требует «человеческого времени» $хочетсявысокуюточность$.Recall $полнота$: доля найденных релевантных среди всех релевантных. Важна, если пропуск релевантного кандидата дорогостоящ — потеря таланта.F1: гармоническое среднее precision и recall; полезна, если важны оба в равной степени.Fβ: позволяет задать приоритет (β>1 — ставим акцент на recall; β<1 — на precision). Выбирать β по бизнес-стоимости FP vs FN.PR‑кривая и Average Precision $AP$: дают сводную оценку поведения при разных порогах для редкого класса — гораздо информативнее, чем ROC‑AUC при 95/5.ROC‑AUC: полезна для общего порядка качества модели, но может быть вводящей в заблуждение при сильном дисбалансе $многоTNделаетеёвысокойдажеприплохойдетекцииредкихклассов$.Precision@k, Recall@k, Lift, Gain: критичны если система используется как ранжер и реальный рабочий процесс смотрит только top‑k кандидатов.Calibration metrics: Brier score, calibration plots — важны если вы используете вероятности для принятия решений или комбинируете с cost‑sensitive правилами.CI/статистика: всегда рассчитывайте интервалы доверия $bootstrap$ для метрик и проверяйте статистическую значимость улучшений.

Рекомендация: основной набор для мониторинга и выбора модели — PR‑AUC $илиAP$, precision@k и recall $илиF\beta ,выбранныйпобизнес‑приоритету$, дополнительно calibration metrics и ROC‑AUC как вспомогательная информация.

Оценка риска систематической дискриминации
Риски: данные резюме и метки могут отражать исторические предубеждения $пол,возраст,этничность,география,образование$. Модель может:
воспроизводить имеющуюся предвзятость $biasreproduction$;усиливать её $biasamplification$;использовать прокси‑фичи $имена,хобби,почтовыекоды$ для реконструкции защищённых атрибутов.

Подходы к оценке риска:

Проведите аналитическую разведку $EDA$ по защищённым группам:
Разбейте данные по группам $пол,возрастныекогорты,место,образование$ и сравните base rates $доляположительных$, precision/recall/FN/FP по группам.Посмотрите на разницу ошибок $FNR/FPR$ между группами — ключевые показатели несправедливости.Формализованные fairness‑метрики $выберитевзависимостиотзадачи$:
Statistical parity difference / demographic parity: P$pred=1|group=A$ vs P$pred=1|group=B$.Disparate impact = ratio P$pred=1|A$/P$pred=1|B$.Equal opportunity: сравнение TPR $recall$ между группами.Equalized odds: сравнение и TPR, и FPR.Predictive parity: precision между группами.Calibration within groups: модель откалибрована отдельно по группам?Explainability / feature reliance:
SHAP/Integrated Gradients/feature importance по подгруппам — смотрите, на какие признаки модель опирается для разных групп $наличиеадреса,имя,gapвопытеит.д.$.Проверьте, не является ли имя/почтовый код/университет явным или скрытым прокси. Попробуйте отключать/маскировать такие признаки и смотреть, как меняются метрики и fairness.Counterfactual / perturbation testing:
Перегенерируйте резюме с изменением защищённого атрибута $сменаимени,гендерныхмаркеров,фото/адресов$ и проверьте изменение предсказания. Это показывает, использует ли модель признаки, связанные с группой.Causal / bias attribution $есливозможно$:
Анализ причинно-следственных связей, чтобы понять, откуда метки идут и какие признаки отражают дискриминацию в исходных метках.Разделите источники предвзятости:
Label bias $разметкаисторическипредвзята$ vs sample bias $различнаяпредставленностьгрупп$ vs measurement bias $неодинаковыепризнаки$.Business impact assessment:
Моделируйте экономические/операционные последствия различий $например,сколькокандидатоводнойгруппыпропустят$ — это помогает принять компромиссы.

Стратегии проверки, валидации и мониторинга

Валидация и CVИспользуйте стратифицированный k‑fold по целевому классу; при проверке fairness делайте stratify по сочетанию $class,protecte{d}_{g}roup$ если выборка позволяет.Не смешивайте когорты по времени. Для production — time‑split validation.Тесты на устойчивостьPerturbation tests: измените имена/города/университет в резюме и сравните предсказания.Adversarial testing: найдите примеры, где небольшие изменения меняют предсказание.A/B и канареечные релизыПеред массовым деплоем — проводить A/B тесты с человеческим оценщиком $HR$ и измерять качество и fairness в реальных процессах.Использовать shadow mode продакшна: модель делает предсказания, но решения остаются за людьми; логируйте предсказания и результаты.Мониторинг после деплояОтслеживайте drift в input distribution, predicted score distribution, и метрики по группам $TPR,FPR,precision$ периодически.Настройте алерты при резких изменениях и при достижении порогов неравенства.Постобработка для смягчения дискриминацииЕсли обнаружены различия, возможны меры: скорректировать пороги по подгруппам $thresholding$ — простая, но юридически и бизнес‑опасная мера; методы постобработки для equalized odds $Hardt$, reweighing (Kamiran & Calders), reject option $AIF360$.Оцените побочные эффекты $trade‑offмеждуoverallperformanceиfairness$.Документация и людиДокументируйте: датасеты, метрики, known limitations, decision log — критично для аудита.Включите HR/юристов/представителей групп в оценку рисков и критериев.Оценка статистической значимостиИспользуйте бутстрэп для CI метрик и тесты на различия между группами; не полагайтесь на point estimates.

Практический pipeline — пошаговый план
1) EDA: анализ class imbalance + разбивка по защищённым атрибутам; base rates.
2) Соберите больше релевантных примеров $activelearning/targetedlabeling$ если возможно.
3) Экспериментально сравните: baseline + undersampling, oversampling, SMOTE $длявекторныхпризнаков$, class_weight, focal loss, ensembling. Для текстов — текст‑аугментации/генерация.
4) Метрики: на валидации смотрите PR‑AUC, precision@k, recall / Fβ $которыйотражаетбизнес‑приоритет$, calibration. Анализ по подгруппам.
5) Fairness testing: subgroup metrics, counterfactual perturbations, explainability.
6) Подбор порога по бизнес‑функции $utility$, с учетом различий по группам и возможной юридической оценки.
7) Shadow mode + A/B, мониторинг, периодические аудиты, логирование.

Короткие практические рекомендации

При 95/5 приоритетно: повысить recall позитивного класса без экстремального падения precision; оптимизируйте по PR‑AUC и precision@k.Собирайте/размечайте данные целенаправленно: больше положительных примеров даёт лучший эффект, чем только ресэмплинг.Всегда проверяйте метрики по подгруппам и делайте perturbation tests на имена/признаки.Логируйте и мониторьте после деплоя: bias и drift могут проявиться со временем.

Если нужно, могу:

предложить конкретный набор гиперпараметров/скриптов в sklearn / LightGBM / XGBoost для обработки imbalance;предложить чек‑лист для fairness‑аудита $нарусском$;помочь составить план A/B теста и метрики для бизнес‑оценки FP vs FN в вашей компании.