Коротко — набор практических методов и их ограничения/риски для повышения интерпретируемости прогнозов глубоких сетей в медицинском приложении.
Основная нотация: модель $f:X\to Y$, вход $x$, прогноз $y=f(x)$.
Методы (что делает, когда полезно, риски)
- Локальные линейные суррогаты (LIME)
- Идея: аппроксимировать поведение $f$ в окрестности $x$ простой моделью $s$, обычно $s(x^{\prime })=w^{\top }{x}^{\prime }$.
- Плюсы: простые и понятные объяснения для конкретного случая.
- Минусы/риски: нестабильность от семплинга/параметров, низкая фиделити если $f$ сильно нелинейна; может объяснять распределение семплов, а не реальные причины; вводит ложное доверие.
- SHAP (Shapley значения)
- Идея: делит вклад признаков с точки зрения теории кооперативных игр — значения ${\varphi }_i$ и свойство ${\sum }_i{\varphi }_i=f(x)-\mathbb{E}[f(X)]$.
- Плюсы: теоретически оправданная разложение, сравнимость между объектами.
- Минусы/риски: дорог в вычислении (приближения могут быть ошибочны), чувствителен к коррелированным признакам (интерпретация вкладов спорна), может скрывать зависимость от множества признаков/шумовых маркеров.
- Градиентные карты / saliency, Integrated Gradients, Grad-CAM, DeepLIFT
- Идея: использовать градиенты или активации для оценки важности пикселей/регионов; пример для IG: ${\mathrm{IG}}_i(x)=(x_i-x_i^{\prime }){\int }_0^1\frac{\partial f(x^{\prime }+\alpha (x-x^{\prime }))}{\partial x_i}d\alpha$.
- Плюсы: быстрая реализация для CNN, показывает локализацию.
- Минусы/риски: шумные карты, чувствительность к выбору базы $x^{\prime }$, градиентная насыщенность, не всегда совпадают с клинически релевантной информацией; легко вводят в заблуждение при сложных зависимостях.
- Внимание (attention) в моделях
- Идея: веса attention интерпретируются как важности.
- Плюсы: встроенная «видимая» структура.
- Минусы/риски: attention ≠ explanation (веса могут коррелировать, но не быть причиной); нельзя автоматически выводить причинность; риск неправильной интерпретации клиницистами.
- Простейшие модели как подпорка (surrogate, правило/дерево)
- Идея: обучить глобальную простую модель $g$ (логистическая регрессия, дерево) по предсказаниям $f$ для интерпретации.
- Плюсы: простые правила, прозрачность.
- Минусы/риски: низкая фиделити если $f$ сложна; может скрывать существенные паттерны.
- Прототипы/контр-примеры и методом похожих случаев (example-based)
- Идея: показывать ближайшие обучающие примеры или prototypical examples, контрфакты.
- Плюсы: интуитивно для врачей ("похоже на такие случаи").
- Минусы/риски: приватность, утечка редких данных, контрфакты могут быть нереалистичны/неинтерпретируемы.
- Concept-based explanations (TCAV)
- Идея: тестировать влияние концептов (подготовленных признаков/паттернов) на выходы.
- Плюсы: связывает поведение модели с клиническими концептами.
- Минусы/риски: требует аннотированных концептов; результаты зависят от качества концептов; не полное объяснение.
- Influence functions
- Идея: оценивать, какие обучающие примеры наиболее влияли на предсказание.
- Плюсы: диагностика ошибок/смещений.
- Минусы/риски: приближения для глубоких сетей ненадёжны; вычислительно тяжело.
Ограничения и общие риски применения в клинике
- Нет гарантии причинности: все перечисленные методы дают ассоциационное объяснение. Объяснение не равно биологическому механизму.
- Ложное чувство безопасности/overtrust: понятное объяснение может заставить врача переоценить правдоподобие модели.
- Нестабильность и воспроизводимость: многие методы (LIME, saliency) чувствительны к настройкам и шуму — разные запуски дают разные объяснения.
- Зависимость от распределения данных: объяснения отражают обучающую выборку; при сдвиге данных они вводят в заблуждение.
- Конфиденциальность и утечка данных: показ похожих примеров или прототипов может раскрыть приватную информацию.
- Атаки/манипуляции: объяснения могут быть скомпрометированы (adversarial manipulation) или использованы для обхода модели.
- Юридические/регуляторные риски: объяснения должны быть документированы; неверные объяснения повышают риск ответственности.
- Интерпретация сложных признаков (изображений, многомерных сигналов) требует клинической валидации — визуальные карты не всегда совпадают с патофизиологией.
Рекомендации по безопасному использованию (кратко)
- Комбинировать методы: локальные (LIME/SHAP/grad-cam) + глобальные (surrogate, TCAV) + example-based.
- Оценивать фиделити и стабильность: метрики фиделити/robustness, тесты на шум и разные семплы.
- Валидировать у клиницистов: формальные user studies для понимаемости и полезности.
- Документировать ограничения: model cards и объяснения того, что объяснения показывают/не показывают.
- Калибровка и оценка неопределённости: предоставлять доверительные интервалы/вероятности к предсказанию.
- Минимизировать утечку данных: анонимизация примеров, согласие пациентов.
- Использовать простые модели там, где это возможно, и держать человека в цикле принятия решений.
Короткая итоговая мысль: используйте мультиметодный подход (несколько техник) + формальную валидацию и клиническую проверку; принимайте во внимание, что ни одна техника не даёт полной «правды» — объяснения помогают понять модель, но не заменяют клиническую оценку.