Кратко: опишу каждый метод, приведу ключевые формулы и укажу, в каких ситуациях объяснения надёжны, а в каких — вводят в заблуждение.
1) LIME (Local Interpretable Model-agnostic Explanations)
- Идея: для объяснения поведения сложной модели $f$ в окрестности примера $x$ строят простую модель $g$ (обычно линейную) и подбирают её параметры, минимизируя взвешенное отклонение от $f$ с учётом сложности:
$\arg \underset{g\in G}{\min }L(f,g,{\pi }_x)+\Omega (g)$,
где ${\pi }_x$ — ядро, задающее вес близости к $x$.
- Когда надёжно:
- если функция $f$ действительно хорошо аппроксимируется простой моделью в локальной окрестности $x$ (локальная линейность);
- если выбор искажающих/пертурбирующих примеров и ядро ${\pi }_x$ реалистичны (не выводят модель в регионы вне распределения).
- Когда вводит в заблуждение:
- при сильных нелинейностях и интеракциях, которые нельзя захватить линейной $g$;
- при некорректной генерации perturbed-примеров (нарушение распределения признаков, игнорирование корреляций) — получаются нефизичные точки и ложные атрибуции;
- при нестабильности объяснений (малые изменения входа или параметров LIME приводят к разным объяснениям).
2) SHAP (Shapley Additive Explanations)
- Идея: атрибутировать вклад признаков, используя теорию Shapley из кооперативных игр. Для набора признаков $N$ вклад $i$-го элемента:
${\varphi }_i=\sum _{S\subseteq N\setminus \{i\}}\frac{|S|!(|N|-|S|-1)!}{|N|!}(v(S\cup \{i\})-v(S))$,
где $v(S)$ — ценность (обычно ожидаемое предсказание) для подмножества признаков $S$. SHAP удовлетворяет аксиомам эффективности, симметрии, нулевого игрока и аддитивности.
- Варианты: KernelSHAP (модель-агностичный), TreeSHAP (эффективен и точен для деревьев), DeepSHAP и т.д.
- Когда надёжно:
- когда корректно определяется функция ценности $v(S)$ (обычно с учётом условных распределений признаков), и когда вычисления/аппроксимации верны (TreeSHAP для деревьев точен).
- когда признаки относительно слабо скоррелированы или используются условные ожидания вместо маргинальных.
- Когда вводит в заблуждение:
- при использовании маргинальных замен (замена отсутствующих признаков на их маргинальные значения) при сильно скоррелированных признаках — вклады будут неправдоподобны;
- высокие вычислительные аппроксимации (малое число сэмплов в KernelSHAP) дают шумные оценки;
- выбор базовой (reference) точки/фона влияет на интерпретацию; в задачах с взаимодействиями Shapley распределяет вклад между признаками формально, но это не обязательно «реальная причина» предсказания.
3) Attention (в моделях типа Transformer/RNN)
- Механика: веса внимания обычно вычисляются как softmax от скоринговой функции:
${\alpha }_{ij}=\frac{\exp (e_{ij})}{{\sum }_k\exp (e_{ik})}$.
- Когда их можно считать объяснением:
- если архитектура и обучение гарантируют, что веса внимания прямо влияют на предсказание и при этом нет сильных компенсирующих путей;
- для диагностики модели (показывают, куда модель «смотрит»), особенно если веса стабильны и согласуются с другими методами.
- Когда вводят в заблуждение:
- наличие веса внимания не равнозначно причинной важности — attention коррелирует с важностью, но может быть неинформативен или вводить в заблуждение (есть исследования, показывающие случаи, где изменение attention не меняет предсказание);
- многослойные/мультиголовные механизмы и нелинейные последующие слои делают простую интерпретацию весов сомнительной.
4) Локальные аппроксимации в целом (семейство методов)
- Суть: аппроксимировать поведение $f$ в окрестности точки $x$ простой моделью (линейной, решающим деревом и т.д.). Проверяют локальную верность (fidelity).
- Надёжны, когда: локальная аппроксимация действительно имеет высокую fidelity; perturbation-генерация реалистична; данные не выходят за распределение.
- Ведут в заблуждение, когда: аппроксимация не захватывает ключевых нелинейных эффектов/интеракций; разные аппроксимации дают разные объяснения (некорректность/нестабильность).
Практические рекомендации и признаки надёжности
- Проверяйте локальную fidelity: измерьте $L(f,g,{\pi }_x)$ (или R^2 локальной модели).
- Используйте реалистичные perturbed-примеры — сохраняйте корреляции или применяйте условную генерацию.
- Сравнивайте несколько методов (LIME, SHAP, counterfactuals, интегрированные градиенты) — устойчивый вывод, подтверждённый разными методами, надёжнее.
- Оценивайте стабильность объяснений при мелких шумовых изменениях входа и при повторных запусках метода.
- Для SHAP предпочтительна корректная оценка $v(S)$ (условная вместо маргинальной) при коррелированных признаках; для деревьев используйте TreeSHAP.
- Не принимайте attention как единственное объяснение; комбинируйте с абляциями/контрфактами для подтверждения причинности.
- В критичных приложениях валидируйте объяснения на синтетических данных с известной структурой.
Вывод: методы дают полезные инсайты при соблюдении условий их применения (локальная линейность/реалистичные perturbations/корректный учет корреляций), но могут вводить в заблуждение при сильных нелинейностях, коррелированных признаках, неверной генерации perturbed-примеров или при ошибочном отождествлении корреляции с причинностью.