Ниже — развёрнутое руководство по причинам, оценке и снижению предвзятости модели классификации пешехода, обученной на данных города A и показавшей систематически худшую работу в районе B для людей с тёмной кожей и в нестандартной одежде. Разделено на: причины, методики оценки несправедливости, технические меры по снижению предвзятости, организационные меры и обеспечение ответственности, а также рекомендуемые практические шаги.

Почему модель ведёт себя хуже в районе B

Смещение выборки (dataset shift)Ковариатное смещение: распределение входных признаков p(x) в B отличается от A — иные ракурсы камеры, освещение, фон, одежды, пропорции людей, плотность трафика.Сдвиг по приоритету (label/prior shift): доля пешеходов/типов поведения может отличаться.Концептуальный сдвиг (concept shift): связь между признаками и метками y|x может отличаться (например, одежда влияет на визуальные признаки «человека» иначе).Сенсорный доменный сдвиг: разные камеры/объективы/компрессия/шумы в B меняют визуальные характеристики (цветопередача, контраст), что критично для распознавания кожи и текстур одежды.Непредставительность и малое количество образцовВ тренировочном наборе A мало примеров людей с тёмной кожей или в «нестандартной» одежде, особенно в типичных ситуациях района B (позы, освещение, частичное закрытие).Аннотации для таких случаев хуже: объекты частично обрезаны, неправильные bbox, пропущенные метки.Аннотационная и культурная предвзятостьАннотаторы из A могли неверно промаркировать людей с определёнными признаками (например, из-за низкой видимости кожи, одежды), что формирует смещение в целевой функции.Различия в критериях «пешеход/не пешеход» между командами A и B.Метрические и эксплуатационные причиныУпор на среднюю метрику (например, mean accuracy, mAP) скрывает плохие показатели на «малых» группах — модель оптимизируется под более представленные случаи.Важность ошибок разная: пропуск пешехода (FN) критичнее, чем ложное срабатывание (FP); если FN чаще у одних групп — это опасная несправедливость.Прокси-признаки и корреляцииМодель может использовать фоновые корреляции (например, определённые участки дороги, одежда как прокси «не-пешеход»), что ломается в B, где фон/одежда иная.

Как оценить несправедливость — метрики и процедуры

Выбор базовых метрик (пер-группа)Для детекции/классификации пешехода: TPR (recall), FNR, FPR, precision, AP/mAP, AUC, IoU для боксов, среднее время обнаружения до столкновения (detection latency). Для безопасности — особое внимание на FNR/TPR различия.Калибровка: reliability diagrams, Expected Calibration Error (ECE) по группам.Fairness-метрики (групповые сравнения)Разность TPR (True Positive Rate gap) между группами; аналогично FPR gap.Equalized odds: сравнивать TPR и FPR для каждой группы.Predictive parity / Precision parity: precision по группам.Calibration within groups: одинаковая вероятность предсказания соответствует той же доле истинных случаев.Worst-group performance: min_{group} metric — важно для безопасности.Практика: какие метрики выбрать для автотранспортаПриоритет: минимизировать разницу FNR между группами и обеспечить низкий абсолютный FNR для всех групп. Затем FPR и IoU.Use-case driven: приравнивание обнаружения к необходимому уровню безопасности (напр., FNR ≤ X% для каждой группы).Статистическая проверка и надёжностьОценивать доверительные интервалы (bootstrap) для каждой метрики по группам.Проверять значимость разницы (пермутационные тесты, тесты на независимость, или McNemar для парных предсказаний).Учесть размер выборки: малое количество примеров в группе даёт большие CI; при невозможности собрать больше данных — осторожно интерпретировать выводы.Диагностика ошибокАнализ по слайсам: по тону кожи, типу одежды, освещению, углу камеры, occlusion, позе, distance-to-camera.Confusion matrix per slice и визуальный аудит ошибок.Explainability: saliency maps, feature attributions, чтобы понять, на что модель опирается (например, фон, силуэт, цвет кожи).Оценка в реальных условияхПолевые тесты в B: сбор данных в операционной среде, офлайн-оценка и закрытые дорожные испытания.Мониторинг в продакшене с метриками per-location/per-group и триггерами на отклонения.

Технические меры по снижению предвзятости

Данные: сбор и балансировкаЦелевой сбор данных из района B (stratified sampling): сессии съёмки в разное время суток, погоде, с различными демографическими и одежными вариациями.Разметка с контролем качества: мульти-аннотации, контроль согласия, guidelines, проверка edge-cases.Oversampling/undersampling: увеличить вес/количество примеров недопредставленных групп при обучении.Synthetic augmentation: стилистические трансформации (style transfer, GAN), изменение оттенка кожи/одежды, фоновые замены, снижение/увеличение освещения. Важно: не искажать реалистичность и учитывать этические ограничения.Domain randomization: силовая вариация параметров (цвет, контраст, шума) чтобы модель стала инвариантна к доменам.Модели и обучениеFine-tuning / domain adaptation: дообучение на данных B (transfer learning), адаптация признаков (feature alignment), unsupervised domain adaptation (DANN, ADDA) если нет меток.Re-weighting / importance weighting: оптимизация с учётом дисбаланса, адаптация потерь по группам (group loss reweighting).Fairness-aware loss: добавление штрафов за диспаритет (например, регуляризация разницы TPR между группами) — аккуратно: сложнее оптимизация, возможен trade-off.Adversarial debiasing: обучать представления, не содержащие информации о чувствительной группе (но это часто нарушает мотивацию безопасности — см. риски ниже).Ensembles и multi-head models: отдельные классификаторы или головки для разных условий/групп; система выбора головы по контексту.Post-processing и принятие решенийКалибровка вероятностей по группам (temperature scaling per group), если можно определить группу.Пороговые стратегии: регулируемые пороги обнаружения для минимизации FNR в чувствительных группах. Важно учитывать юридические ограничения на использование чувствительных атрибутов и риски ухудшения общей безопасности.Conservative fallback: если модель не уверена или обнаружена потенциальная нерегиональная вариация — тормозить/уменьшать скорость/увеличивать дистанцию, активировать дополнительные сенсоры/человека-оператора.Сенсорное дублирование и мультисенсорная обработкаИнтеграция LIDAR/RADAR, тепловизора, ультразвука — они менее чувствительны к цвету кожи и одежде.Слияние данных (sensor fusion) повышает надёжность и уменьшает зависимость от визуальных признаков.Active learning и онлайновое улучшениеАвтоматический отбор спорных/неуверенных примеров для разметки (pool-based active learning), целевые сессии в B.Контролируемое релабелинг и human-in-the-loop процесс для новых типов одежды/видов людей.ТестированиеStress tests: сцены с тёмной/светлой кожей, редкая одежда, occlusion; synthetic worst-case scenarios.Simulations: симуляторы с вариацией демографии и одежды (с учётом реализма).A/B и canary deployments с мониторингом per-group.

Организационные меры и обеспечение ответственности

Политики и процессыData governance: документирование происхождения данных, метаданных, пропорций групп, политики анонимизации.Требование к тестированию fairness перед релизом: обязательные пороговые значения (например, max TPR gap ≤ X) и safety gates.Incident response: процессы для реагирования на жалобы/инциденты дискриминации, сбор данных об инциденте, расследование и корректирующие меры.Документация и прозрачностьModel cards, datasheets for datasets: описать состав, ограничения, performance across slices, known failure modes.Decision logs и audit trails: кто менял модель, какие данные добавлены, результаты оценки на релевантных срезах.Независимый аудит и внешняя проверкаВнутренние и внешние аудиты (технич. и этич.) с доступом к данным/результатам тестов. Вовлечение сторонних экспертов по вопросам дискриминации и безопасности.Вовлечение заинтересованных сторон и сообществоПолевые опросы, консультации с представителями районов B, правозащитными организациями и экспертами по этике.Юридическая проверка: соответствие требованиям nondiscrimination, правилам автомобильной безопасности и конфиденциальности.Обучение персоналаТренинги для инженеров, аннотаторов и менеджеров по вопросам предвзятости, корректной разметки, культурной чувствительности.Политика по сбору чувствительных атрибутовЧёткая политика: собирать ли и как демографические метки (тон кожи, race/ethnicity). Если собираете — обеспечить согласие, минимизацию хранения, псевдонимизацию и правовую базу.Альтернативы: использование добровольных анкет/кодирования с согласия вместо автоматических inferred-меток; или внешние аудиторы с доступом к чувствительным атрибутам.

Практический план действий (шаги при обнаружении проблемы)
1) Диагностика

Собрать репрезентативный тестовый набор из района B с разметкой: bbox, метки, информация об освещении/ракурсе; по возможности — аннотации по тону кожи и типу одежды с соблюдением этики и приватности.Построить слайсы, вычислить метрики (TPR/FNR/precision/AP/IoU) по срезам, оценить CI и проверить значимость различий.Визуальный аудит ошибок, saliency maps, case studies (чтобы понять шаблоны ошибок).
2) Краткосрочные меры безопасностиНа время исправления ввести conservative fallback: снизить скорость, увеличить минимальную дистанцию, повысить порог уверенности для отключения торможения/манёвров.Включить дополнительные сенсоры (если доступны) и fusion стратегии.
3) Сбор и дообучениеОрганизовать целевой сбор данных и разметку в B, использовать active learning для эффективной разметки.Провести fine-tuning/доменную адаптацию и повторно оценить fairness-метрики.
4) Долгосрочные мерыВнедрить процедуры постоянного мониторинга per-group, автоматические алерты.Обновить pipeline: data sheets, model cards, тесты для регрессионного контроля fairness.Запланировать независимый аудит и регулярные пересмотры.
5) КоммуникацияСообщать заинтересованным сторонам (внутри организации и, при необходимости, публично) о причинах, планах и выполненных мерах.

Правовые, этические и практические ограничения

Законодательство и запрет на использование чувствительных признаковВ некоторых юрисдикциях использование расы/этничности в принятии решений запрещено; это затрудняет прямую группировку и корректировку. Тем не менее для аудита и улучшения модели можно собирать эти метки с целью тестирования и устранения дисбаланса (но с соблюдением закона и приватности).Проблема proxy-atributesНельзя полагаться на автоматические определения расы/тона кожи без внимания к рискам и погрешностям; использовать только для аудита в контролируемых условиях.Trade-offsУлучшение fairness может снизить общую accuracy; нужно формализовать требования безопасности и определить приоритеты — безопасность конкретных групп обычно важнее среднего прироста точности.Этические риски при генерации данныхSynthetic augmentation skin-tone modification может быть спорна; делайте это осторожно, при консультации с сообществом и этиками.

Метрики-«критерии приёма» и контроль качества (примерные рекомендации)

Обязательные:FNR для каждой демографической группы ≤ требуемого порога безопасности (определить с 안전ностью/регулятором).Разница TPR между любой парой групп ≤ допустимого порога (например, 3-5% — зависит от риска).Дополнительные:AP/IoU по срезам не менее X% от базовой.ECE по группам в пределах допустимого порога.Наличие CI для каждой метрики; если CI велик — собрать дополнительные данные.Отклонение = триггер для investigation and rollback.

Заключение: принципы подхода

Diagnосе first: подтвердить и количественно оценить проблему — это уменьшит риск неверных корректирующих действий.Data-centric: большинство проблем предвзятости решается улучшением и разнообразием данных, качеством разметки и полями контекста.Safety-first: в автотранспорте минимизация FNR для всех групп — приоритет; используйте conservative fallbacks, дублирование сенсоров и строгий мониторинг.Governance and transparency: документируйте решения, держите логи, проводите аудит и вовлекайте сообщество и регуляторов.Iterative process: борьба с предвзятостью — непрерывная работа: сбор новых данных, переобучение, контроль и внешняя проверка.

Если хотите, могу:

Предложить конкретный чек-лист для аудита модели и данных по району B.Сформировать предложения по составу и размеру контрольного набора для B (сколько примеров разных подгрупп нужно, чтобы получить адекватную статистическую мощность).Описать пример pipeline для воспроизводимого мониторинга fairness в продакшене (метрики, алерты, визуализации).