Ниже — компактный, но полный набор тест-кейсов, метрик и методик валидации для оценки надёжности детектора объектов при изменении освещения, шумах и атаках подмены меток.
1) Набор тест-кейсов (группы и параметры)
- Уровни тяжести: $\{1,\dots ,5\}$ (1 — лёгкий, 5 — тяжёлый).
- Освещение и цвет:
- Изменение яркости/контраста: масштабирование яркости $\alpha \in \{0.5,0.7,0.85,1.15,1.3\}$.
- Тёплый/холодный сдвиг цветовой температуры (white balance).
- Тени/локальная засветка (симулировать градиенты и блики).
- Низкое освещение (установка ISO/экспозиции): усиление шумоподобного фона.
- Атмосферные эффекты: туман/дождь/снег/блеск (различные плотности по уровням тяжести).
- Оптические и движения:
- Размытие в движении (motion blur) различной длины и угла.
- Размытая оптика (defocus blur) по радиусу.
- JPEG-компрессия: качество $\in \{90,70,50,30,10\}$.
- Шумы:
- Гауссов шум: $\sigma \in \{5,10,20,40\}$ (значения в интенсивности 0–255).
- Соль-и-перец: доля пикселей $\in \{0.1\%,0.5\%,1\%,3\%,5\%\}$.
- Poisson, speckle.
- Геометрические трансформации и окклюзии:
- Масштаб, поворот, сдвиг, частичный кадр.
- Cutout / случайные окклюзии разных размеров и положений.
- Комбинированные сценарии: одновременно изменение освещения + шум + occlusion на нескольких тяжестях.
- Атаки на вход (adversarial):
- FGSM/PGD (L_\infty): $ϵ\in \{2/255,4/255,8/255\}$.
- Перцептуальные/сильные атаки с малым L_2: $\Vert \delta {\Vert }_2\in \{0.5,1.0,2.0\}$ (нормированный).
- Атаки подмены меток (label attacks):
- Случайное переворачивание классов: доля $\in \{5\%,10\%,20\%,40\%\}$.
- Систематическое замещение (вошаблон — один класс заменяют на другой).
- Пропущенные аннотации (missing labels): доля пропусков $\in \{5\%,10\%,20\%\}$.
- Искажение координат боксов (jitter): сдвиг/масштаб пропорцией $\delta \in \{0.01,0.05,0.1,0.2\}$ от размера бокса.
- Дублирование/смешивание меток (несколько меток на один объект).
- Poison / backdoor: внедрение триггера в изображения с заданной долей $\{1\%,5\%,10\%\}$.
2) Рекомендуемые метрики
- Основные detection-метрики:
- COCO-style AP: ${\text{AP}}_{[0.5:0.05:0.95]}$ (среднее по IoU $\{0.50,0.55,\dots ,0.95\}$).
- $A{P}_{50}$, $A{P}_{75}$; per-class AP.
- Average Recall: $\text{AR}$ (различные числа пропусков).
- Ошибки локализации/классификации:
- Локализационная ошибка (mean localization error), доля неправильных IoU.
- False Positives Per Image (FPPI) и Miss Rate.
- Метрики устойчивости:
- Absolute drop: $\Delta AP=A{P}_{\text{clean}}-A{P}_{\text{corrupt}}$.
- Relative drop: $\frac{A{P}_{\text{clean}}-A{P}_{\text{corrupt}}}{A{P}_{\text{clean}}}$.
- Robustness across severity (кривая): строить $AP(s)$ для $s\in \{\mathrm{1..5}\}$; вычислять AUC по сложностям: $\text{AUC}=\frac{1}{S}{\sum }_{s=1}^{S}AP(s)$.
- Mean Corruption Error (mCE)-подобная норма: нормировать падение относительно базовой модели.
- Для adversarial/poison атак:
- Attack Success Rate (ASR): доля случаев, где атака привела к исчезновению или изменению детекции.
- Минимальная $ϵ$ для достижения заданного ухудшения.
- Калибровка и доверие:
- Expected Calibration Error (ECE) для confidences детектора.
- Reliability diagrams по классам и IoU.
- Статистика:
- Среднее и стандартное отклонение по N повторов: $\mu ,\sigma$ (bootstrap CI, 95% доверительный интервал).
3) Методики валидации и протоколы
- Базовая схема:
- Оценить на чистом hold-out (контрольная выборка).
- Для каждой группы corruptions/attack создать наборы с уровнями тяжести $\{1,\dots ,5\}$ и измерить метрики.
- COCO-C / ImageNet-C подход:
- Для каждой коррукции посчитать AP на каждом уровне, затем агрегировать mAP и AUC по сложностям.
- Кросс-доменные тесты:
- Cross-dataset: тренировать на Dataset A, тестировать на Dataset B (реальные смены освещения/камер).
- Label-noise evaluation:
- Поэтапно увеличивать долю шумных меток; строить кривые AP vs noise rate.
- Разделять типы шума: случайный vs структурированный (систематический перевод в другой класс).
- Adversarial evaluation:
- Поддерживать пороговые нормы $ϵ$ и оценки ASR; тестировать бело‑/чёрно‑box атаки.
- Повторяемость:
- Повторять каждую оценку по $n=5$ разных seed'ов; сообщать среднее и 95% CI (bootstrap).
- Пер- класс и per-IoU анализ:
- Отчёт по каждому классу и по IoU-диапазонам (слабая/жёсткая локализация).
- Агрегированный устойчивый скор:
- Robustness Score: $\text{RS}=\frac{1}{|C|S}{\sum }_{c\in C}{\sum }_{s=1}^{S}A{P}_{c,s}$ (сравнивать модели по RS).
- Аборляционные эксперименты:
- Включать/исключать аугментации, robust training, loss modifications; оценивать вклад каждой меры.
- Статистическая значимость:
- Тесты (bootstrap, paired t-test) для проверки, значимо ли отличие между моделями/настройками.
4) Практические рекомендации (коротко)
- Всегда публиковать: $A{P}_{[0.5:0.05:0.95]}$, $A{P}_{50}$, per-class AP, $\Delta AP$ по каждой corruption и уровень тяжести.
- Для label-атак показывать кривые AP vs noise rate и тип ошибки (miss, misclass, bbox error).
- Для adversarial: указывать $ϵ$-кривые и ASR.
- Использовать сочетание synthetic corruptions и реальных наборов с разным освещением; повторять эксперименты $n=5$ для надёжности.
Если нужно, могу сформировать готовый JSON/CSV шаблон с перечисленными тест-кейсами и столбцами метрик для автоматизированного бенчмаркинга.