Коротко и по пунктам (набор сильно несбалансирован: $1\%$ положительных).
1) Предобработка и инженерия данных
- ROI / патчи: извлекать патчи с высокой долей патологий — повышает плотность позитивов в батче.
- Трансформации/аугментации: геометрические, интенсивностные, stain-normalization (для патологии), elastic, mixup / CutMix; для редких классов — агрессивная аугментация только для позитивов.
- Синтез данных: генеративные модели (GAN / diffusion) или трансфер с аугментированием реальных позитивов; осторожно — контролировать реализм и разнообразие.
- Балансировка на уровне батчей: class-balanced sampling (фиксированное число позитивных/негативных в батче).
- Hard negative mining: периодически добавлять трудные отрицательные примеры.
- Препроцессинг изображений: стандартизация, нормализация по каналам, ретинальные/кожные/патологические доменные нормализации.
- Multi-scale / multi-view: сохранять контекст (разные разрешения или сжатия для мелкой патологии).
2) Архитектуры и схемы обучения
- Двухэтапные схемы: детектор/сегментатор (например, U-Net/FPN) → классификатор; уменьшает влияние редких мелких очагов.
- Multi-instance learning (MIL) для больших слайдов / множественных патчей.
- CNN с FPN / attention-модулями или Vision Transformer (ViT) + CNN-encoder для мультискейла.
- Небольшие/средние модели + предобучение (transfer learning, self-supervised pretraining) — при малом числе позитивов большие модели легко переобучаются.
- Ансамбли разных архитектур для стабильности и оценки неопределённости.
- Аномалия / one-class подходы (Autoencoder, Deep SVDD) как дополнение, особенно если позитивы очень редки.
3) Функции потерь и стратегии обучения
- Focal Loss: $\text{FL}(p_t)=-{\alpha }_t(1-p_t{)}^{\gamma }\log p_t$ — уменьшает вклад лёгких примеров.
- Class-weighted CE: увеличивать вес позитивного класса пропорционально редкости.
- Batch-wise balanced loss или sampling + обычный CE.
- Two-stage training: сначала детектор/segmentation с pixel-wise loss, затем классификатор.
- Semi-/self-supervised, pseudo-labeling и consistency regularization для использования большого числа неразмеченных данных.
4) Метрики и процедуры оценки (что обязательно)
- Не использовать accuracy при $1\%$ prevalence.
- Основные метрики: Precision ($\text{Precision}=\frac{TP}{TP+FP}$), Recall / Sensitivity ($\text{Recall}=\frac{TP}{TP+FN}$), Specificity ($\text{Specificity}=\frac{TN}{TN+FP}$), F1 ($\text{F1}=2\cdot \frac{Precision\cdot Recall}{Precision+Recall}$). Все в KaTeX.
- AUPRC (area under PR-curve) предпочтительнее AUROC при сильном дисбалансе; AUROC может быть вводящим в заблуждение.
- MCC (устойчивая к дисбалансу): $\text{MCC}=\frac{TP\cdot TN-FP\cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}$.
- Brier score / calibration + калибровка (temperature scaling), также графики калибровки: $\text{Brier}=\frac{1}{N}{\sum }_{i=1}^N(p_i-y_i{)}^2$.
- Precision@k / PPV/NPV при клинически релевантном пороге; decision curve analysis / net benefit для оценки клин. пользы.
- Отчёты: confusion matrix при выбранных порогах, CI (bootstrap) для всех метрик.
5) Оценка и валидация для редких событий
- Стратифицированный k-fold или stratified-group CV, чтобы в каждом фолде были позитивы.
- Внешняя валидация: разные центры/временные срезы — главный тест на обобщение.
- Bootstrap-оценка доверительных интервалов метрик (особенно AUPRC и PPV).
- Оценивать при истинной популяционной превалентности: проверять метрики на данных с prevalence, близким к реальному.
- Отдельная верификация ошибок: ручная ревизия FP и FN клиниками/экспертами.
6) Риски переобучения и способы борьбы
- Причины: очень мало позитивов → модель запоминает шум, data leakage, чрезмерная аугментация дубликатами.
- Меры: сильная регуляризация (weight decay, dropout), ранняя остановка по валидации, уменьшение capacity модели, предобучение / fine-tuning с заморозкой слоёв, тщательный контроль leakage (патч- и слайд-уровень), валидация на внешних когортах.
- Мониторинг переобучения: расхождение метрик train vs val, ухудшение калибровки, большое падение на внешнем наборе.
- Оценка неопределённости: Monte Carlo dropout / deep ensembles — помогает выявить непрочные предсказания и снизить overconfident ошибочные прогнозы.
7) Практический чеклист перед деплоем
- Стратифицированный CV + внешний hold-out; bootstrap CI; отчёт AUPRC, F1, MCC, PPV/NPV при клин. пороге; калибровка.
- Проверить, что модель не запомнила пациентов/слайдов (split по пациентам/сайтам).
- Тест на разные превалентности и decision-curve для клинической пользы.
- Рецензирование FP/FN экспертами и переобучение/улучшение данных при необходимости.
Заключение: сочетайте инженерные приёмы (патчинг, агрессивная аугментация, синтез), архитектурные решения (двухэтапные схемы, MIL, умеренная capacity, предобучение) и корректные метрики (AUPRC, F1, MCC, калибровка) + строгую валидацию (stratified CV, внешние данные, bootstrap CI). Это минимизирует переобучение и даст надёжную оценку для редких событий.