Краткий, пошаговый протокол (целевой — минимизировать систематические смещения и сохранить интерпретируемость результатов).
1) Цели, требования и данные
- Определите целевые классы (реальные транзиенты, астероиды, переменные, артефакты) и ключевые метрики: полнота/чистота при заданном пороге, калибровка вероятностей.
- Соберите метаданные, важные для систематики: место/камера/порог S/N, время, seeing, airmass, фильтр.
2) Подготовка и аннотирование данных
- Разметка: комбинировать реальные спектроскопические метки + симуляции/инжекции транзиентов в сырые кадры для покрытия малых S/N и крайних условий.
- Сделать независимые валидационные наборы: по регионам не пересекающимся пространственно/временно с тренировкой, чтобы избежать утечки.
- Хранить provenance: версия калибровок, reduction pipeline, датасеты.
3) Инжекции и оценка селекционной функции
- Проводить массовые injection-recovery тесты в разных условиях (магнитуда, цвет, host galaxy surface brightness). Оценка эффективности:
$ϵ(m)=\frac{N_{\mathrm{recovered}}(m)}{N_{\mathrm{injected}}(m)}$.
- Оценить селекционную функцию $S(x)$ в многомерном признаковом пространстве (маг, S/N, seeing,...). Для исправления смещений используйте веса
$w(x)=\frac{1}{S(x)}$.
4) Предобработка и признаки
- Нормализация по камере/пикселю, унификация фоторедукции. Не удалять полезные фичи (вместо этого моделируйте систематики).
- Разделяйте признаки на «физически-информативные» (магнитуда, цвет, host offset, shape) и «процессные/мета» (CCD id, background RMS).
- Применяйте простую интерпретируемую фиче-инженерию (контрасты, временные параметры, асимметрия профиля).
5) Балансировка классов и оптимизация потерь
- При сильном дисбалансе: class weights, focal loss или стратегическое undersampling негативов с сохранением разнообразия.
- Использовать в тренировке веса $w(x)$ из п.3 для компенсации селекционных эффектов.
6) Выбор моделей и интерпретируемость
- Базовый уровень (обязателен): логрегрессия/дерева/RandomForest/GBM — дают feature importances и частично интерпретируемы.
- Сложные модели (CNN для cutouts, RNN для light curves) — использовать только при демонстративном улучшении и с механизмами интерпретации.
- Интерпретируемые методы: SHAP/TreeSHAP, LIME, приближающие супервизоры. Для нейросетей — Grad-CAM, occlusion maps, Integrated Gradients.
7) Калибровка вероятностей и проверка
- Калибровать выходы моделей (Platt scaling или isotonic):
Platt: $p^{\prime }=\sigma (a\cdot s+b)=\frac{1}{1+e^{-as-b}}$.
- Оценивать калибровку Brier score:
$\mathrm{Brier}=\frac{1}{N}{\sum }_{i=1}^N(p_i-y_i{)}^2$.
- ECE (expected calibration error):
$\mathrm{ECE}={\sum }_k\frac{|B_k|}{N}\left|\mathrm{acc}(B_k)-\mathrm{conf}(B_k)\right|$.
8) Валидировка на множестве срезов (diagnostic bins)
- Оценивать метрики (precision, recall, ROC AUC, PR AUC) отдельно по биннам: маг, цвет, host SB, CCD, seeing, время. Например:
$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}},\mathrm{FPR}=\frac{\mathrm{FP}}{\mathrm{FP}+\mathrm{TN}}$.
- Поиск зависимостей метрик от систематик → если есть тренды, моделировать их и/или добавить признаки/веса.
9) Учет и разделение неопределённостей
- Оценивать эпистемическую неопределённость (ансамбли моделей, MCDropout) и алeаторическую (предсказание дисперсии). Выдавать интервалы/вероятности вместо жёстких меток.
- Включать uncertainty-aware правила триажа (высокая неопределённость → ручная проверка).
10) Domain adaptation и перенос между сводами
- Включать симуляции и transfer learning, использовать adversarial domain adaptation, или reweighting по признакам, чтобы снизить сдвиг распределений.
- Тестировать на независимых реальных наборах от других камер/просмотров.
11) Мониторинг, контроль качества и он-гoинг калибровка
- Развернуть пайплайн мониторинга: drift detection по распределениям признаков и по производительности метрик.
- Регулярно выполнять injection-recovery тесты и обновлять $S(x)$ и веса.
- Ведите журнал ошибок и случаи "catastrophic failures" для дообучения.
12) Валидация научных выводов и propagation systematics
- При выводах о популяциях учитывать selection function и переходим от предсказаний к оценкам численностей с весами $w(x)$.
- При выполнении научных анализов встраивать ML-неопределенности и систематику в итоговую оценку ошибок (например через вариацию моделей/варьирование селекционной функции).
Краткая чек-листная контрольная карта перед эксплуатацией
- Наличие injection-recovery и оценённой $S(x)$.
- Разделенные по пространству/времени трейн/валид/тест.
- Калибровка вероятностей (Brier, ECE).
- Диагностика метрик в биннах по систематикам.
- Интерпретируемость: SHAP/feature importances + визуализация для CNN.
- Мониторинг drift + ручной триаж для неопределённых случаев.
- Политика версионирования и воспроизводимости.
Резюме: сочетайте привычные интерпретируемые модели и строгую симуляционно-инжекционную проверку селекционной функции, применяйте взвешивание/калибровку для компенсации систематик, контролируйте метрики в многомерных биннах и используйте инструменты интерпретируемости (SHAP, saliency) и uncertainty quantification для безопасного развёртывания и научно-комплексной обработки результатов.