Ниже — сжатая, но содержательная сводка подходов к оценке устойчивости НС к adversarial‑атакам. Формулы и числовые выражения в KaTeX.
1) Методы генерации атак (категории и примеры)
- Белый ящик (полный доступ к градиентам):
- FGSM: $\delta =ϵ\text{sign}({\nabla }_{x}L(x,y))$.
- PGD (iterative FGSM): $x_{t+1}={\Pi }_{B_p(x,ϵ)}(x_t+\alpha \text{sign}({\nabla }_{x}L(x_t,y)))$.
- CW (оптимизационная): ${\min }_{\delta }\Vert \delta {\Vert }_p+c\cdot f(x+\delta )$ (слабая‑точность функция $f$ для направления атаки).
- Чёрный ящик:
- Transfer‑атаки: генерировать на substitute модели.
- Score‑based (NES, SPSA): аппроксимация градиента через стохастические оценки.
- Decision‑based (Boundary, HopSkipJump): только решения классов, итеративно искать границу.
- Целевые/нецелевые: целевая — подделать в конкретный класс; нецелевая — любой неверный.
- Нормы: ${\ell }_{\infty }$, ${\ell }_2$, ${\ell }_1$ — указывайте threat model через $\Vert \delta {\Vert }_p\le ϵ$.
2) Метрики оценки деградации
- Clean accuracy: ${\text{Acc}}_{\text{clean}}=\frac{1}{N}{\sum }_{i=1}^{N}1\{\hat{f}(x_i)=y_i\}$.
- Empirical robust accuracy при атаке $A$ и радиусе $ϵ$:
${\text{RA}}_A(ϵ)=\frac{1}{N}{\sum }_{i=1}^{N}1\{\hat{f}(A(x_i,ϵ))=y_i\}$.
- Worst‑case (adversarial) accuracy / certified accuracy:
$\text{CertRA}(ϵ)=\frac{1}{N}{\sum }_{i=1}^{N}1\{\forall \Vert \delta {\Vert }_p\le ϵ:\hat{f}(x_i+\delta )=y_i\}$.
- Attack success rate (ASR): доля образцов, для которых атака добилась неправильного вывода.
- Средняя/медианная минимальная норма недопустимого искажения: для каждого $x_i$ оценить $\min \{\Vert \delta {\Vert }_p:\hat{f}(x_i+\delta )\ne y_i\}$ и взять среднее/медиану.
- Кривые «Accuracy vs $ϵ$» и площадь под ними; ROC‑подобные метрики для методов обнаружения.
- Локальные оценки робастности: CLEVER (оценка локального липшицева константа через EVT).
- Время/число запросов и итераций атаки (важно для чёрного ящика).
3) Техники защиты (короткое описание)
- Отсечение/предобработка входа:
- Clipping / input quantization / JPEG‑компрессия / feature denoising.
- Плюсы: просты; Минусы: часто воспринимаются adaptive‑атаками, дают «обфускацию» градиентов.
- Обучение с шумом (randomized smoothing, Gaussian augmentation):
- Randomized smoothing дает сертифицированную ${\ell }_2$‑робастность: если вероятности топ‑класса и второго $p_A,p_B$, то сертифицированный радиус
$$R=\frac{\sigma }{2}({\Phi }^{-1}(p_A)-{\Phi }^{-1}(p_B)).$$ - Минусы: только для ${\ell }_2$ (для Gaussian smoothing), требуется много выборок, качество зависит от $\sigma$.
- Adversarial training (PGD‑training, TRADES):
- Модель обучается на примерах $\tilde{x}=A(x,ϵ)$; TRADES оптимизирует баланс чистой/робастной ошибки.
- Минусы: дорого по вычислению; часто trade‑off между ${\text{Acc}}_{\text{clean}}$ и $\text{RA}$; зависит от выбранного $ϵ$ и атак во время тренировки.
- Сертифицированные методы (IBP, CROWN, SDP/LP‑релаксации):
- Даёт гарантии (нижние оценки робастности) для всех $\delta$ в сфере; пример — interval bound propagation даёт сертификаты радиуса.
- Минусы: консервативны (часто дают малые радиусы), тяжёлые для больших сетей, ограничены архитектурами/типами слоёв.
- Детекторы и внешние механизмы: классификаторы‑детекторы отклонений; минусы — легко обходятся adaptive‑атаками.
4) Ограничения и типичные ошибки оценки
- Obfuscated gradients / gradient masking: многие «защиты» лишь затрудняют градиенты, но не улучшают истинную робастность; нужно проверять градиент‑свободными и адаптивными атаками.
- Неполная threat model: оценка только при одном $ϵ$ или одной норме даёт неполную картину.
- Неадаптивные атаки: при оценке защиты всегда использовать adaptive attack, который знает защиту и её параметры.
- Trade‑off чистой/робастной точности: улучшение робастности часто снижает чистую точность.
- Сертифицированная робастность дорогая и консервативная; эмпирические атаки не дают доказательств отсутствия уязвимости.
- Высокая размерность: маленькие $ϵ$ в ${\ell }_{\infty }$ могут уже быть визуально заметны, в ${\ell }_2$ — маскируются; сравнивайте по соответствующим нормам.
- Переоценка из‑за недостаточных перезапусков/итераций: для PGD/CW используйте много перезапусков и сетку по шагам/learning rate.
5) Рекомендованный протокол оценки (кратко)
- Укажите threat model: норма ${\ell }_p$, $ϵ$, доступ атакующего (white/black).
- Протестировать широкий набор атак: FGSM, PGD (много итераций и random restarts), CW, плюс black‑box (NES/SPSA) и decision‑based.
- Для каждой защиты — выполнить adaptive attack, градиент‑свободные проверки и проверки на transfer‑атаки.
- Отчёт: ${\text{Acc}}_{\text{clean}}$, ${\text{RA}}_A(ϵ)$ для множества $ϵ$, ASR, средняя минимальная норма и время/запросы.
- При заявлениях о «сертифицированной» робастности — приводите используемый метод сертификации и долю примеров с ненулевым радиусом.
Короткий итог: комбинируйте сильные эмпирические (adaptive white‑box + black‑box) и сертифицированные методы; используйте полноценный протокол с кривыми «accuracy vs $ϵ$» и отчётностью по ресурсам и параметрам атак.