Краткая схема конвейера и ключевые решения (по этапам).
1) Инжест и предобработка сырых снимков
- Форматы: FITS с сохранением заголовков (WCS, PSF, экспозиция). Метаданные — отдельный табличный файл.
- Калибрация: bias/dark subtraction, flat-field, cosmic ray removal, background subtraction, PSF оценка/гомогенизация.
- Астрометрия/фотометрия: выравнивание по WCS, апертура/метрики поверх фонового шума.
- Кроп/тайлинг: выделение объектов (cutouts) с запасом для окружения; размер нормирован под сеть (например 64–256 px).
- Нормализация: масштабирование пикселей по: фоновому уровню, логарифмическое/asin-h stretch или перцентильная нормализация; стандартизация по каналу.
- Шумовая модель: сохранить/моделировать шума (σ_image) для обучения с учётом S/N.
2) Разметка и очистка меток
- Источники меток: человек (Galaxy Zoo), каталоги, синтетика (симуляции).
- Качество меток: согласованность голосов, фильтрация неуверенных меток, создание soft-labels (вероятности).
- Балансировка классов на уровне разметки: при необходимости объединять редко встречающиеся классы или использовать многозадачную разметку (пример: спираль/эллиптическая + бар/без бара).
3) Формирование датасета и хранение
- Формат хранения: TFRecord/LMDB/Zarr + отдельный каталог метаданных; индекс по RA/Dec, поле, экспозиции.
- Разделение: train/val/test с пространственным/по-серии разделением (чтобы избежать утечки через соседние объекты).
- Хранилище версий датасета (датасет-снапшоты), журнал изменений (provenance).
4) Аугментации и генерация синтетики
- Геометрические: повороты, отражения (только если физически допустимо), масштабирование.
- Фотометрические: изменение яркости/шум/сдвиги фона, PSF-конволюция, эмитация артефактов.
- Симуляции: добавление синтетических галактик для редких типов.
- На лету (GPU/CPU) для экономии диска.
5) Архитектура модели
- Базовый выбор: сверточная нейронная сеть глубокого диапазона (ResNet/DenseNet/EfficientNet) или многоуровневые мультискейл блоки.
- Вход: многоканальные кадры (multi-band: ugriz) + табличные признаки (красный смещение, магнитуда) через отдельную ветвь, на стадии слияния — concatenate.
- Модель для вероятностей: softmax/бернулли-выходы; для множественной маркировки — сигмоидные выходы.
- Усиление контекста: attention-модули, FPN/Pyramid для захвата разного масштаба.
- Нестандарт: Bayesian NN / Monte Carlo dropout или дип-ансамбли для оценки неопределённости.
- Пример структуры: backbone (CNN) → global pooling → dense(128, ReLU) → dropout → output.
6) Функция потерь и борьба с дисбалансом
- Кросс-энтропия (классификация): ${\mathcal{L}}_{CE}=-{\sum }_c{y}_c\log p_c$.
- Взвешивание классов: задаём веса $w_c$ обратно пропорциональные частотам, например $w_c=\frac{N}{K\cdot n_c}$ (где $N$ — число примеров, $K$ — число классов, $n_c$ — число примеров класса $c$), и используем $\mathcal{L}=-{\sum }_c{w}_c{y}_c\log p_c$.
- Focal loss для трудно-классифицируемых и сильно несбалансированных данных: ${\mathcal{L}}_{FL}=-(1-p_t{)}^{\gamma }\log p_t$.
- Oversampling/undersampling: сбалансированная батч-сборка или weighted sampler.
- Синтетические примеры + SMOTE-подобные подходы для табличных признаков.
7) Регуляризация и предотвращение переобучения
- Data augmentation (как выше) — ключевой метод.
- L2-регуляризация: добавлять $\lambda \Vert w{\Vert }_2^2$.
- Dropout / batch normalization.
- Early stopping по метрике на валидации.
- Снижение сложности модели (меньше параметров) или праuning.
- Mixed precision и gradient clipping при больших батчах.
- Ensembling (model averaging) для устойчивости и снижения дисперсии.
8) Оптимизация и графики обучения
- Оптимизатор: AdamW / SGD+momentum; расписание LR (cosine / step / OneCycle).
- Проверять метрики тренировочных и валидационных кривых, логировать loss, accuracy, AUC.
9) Валидация и метрики
- Разделение: train/val/test с пространственной и временной стратификацией, плюс «held-out survey» для проверки переносимости.
- K-fold или stratified K-fold для оценки дисперсии (если данные независимы); для астрон. карт — spatial CV (разбивка по полям).
- Метрики: accuracy, balanced accuracy, precision/recall per class, F1, ROC AUC, PR AUC (важно при несбалансированных классах).
- Калибровка прогнозов: Brier score $\mathrm{BS}=\frac{1}{N}{\sum }_i(p_i-y_i{)}^2$; reliability diagram; Platt scaling / isotonic regression.
- Конфьюжн-матрица для ошибок класса; анализ типичных ошибочных примеров.
- Оценка неопределённости: predictive entropy, ensemble variance, MC-dropout.
10) Интерпретируемость
- Салiency/Grad-CAM/Integrated Gradients для карт внимания по изображению.
- Occlusion sensitivity: в какой области изображение влияет на класс.
- TCAV/Concept-based explanations для астрономических признаков (например «бар», «ручей спирали»).
- SHAP/LIME для вкладов табличных признаков.
- Прототипы и контрфакты: хранить репрезентативные примеры каждого класса.
- Документировать физические корреляции: какие признаки (цвет, размер, яркость) наиболее важны.
11) Развёртывание, мониторинг и обновление модели
- Пайплайн инференса: батчинг, кастомные DataLoader’ы, пропуск/фильтрация плохих входов, проверка качества входа.
- Мониторинг drift (по распределению признаков, по метрикам), сбор неверно классифицированных или редких примеров для дообучения.
- CI/CD: автоматическое тестирование и валидация новых версий модели на отложенных наборах.
12) Воспроизводимость и управление экспериментами
- Версионирование кода и данных (git + DVC или Data Versioning), теги для снэпшотов датасетов.
- Фиксация seed’ов и настройка детерминантности (если возможно); логирование аппаратной среды.
- Контейнеризация (Docker/Singularity) и запись зависимостей (requirements, conda env, pip freeze).
- Чекпоинты модели, лог гиперпараметров и результатов (MLflow, Weights & Biases).
- Метаданные и протокол экспериментов: используемые предобработки, аугментации, версии каталогов, метки.
- Форматы вывода: сохранять вероятности, метки, uncertainty и исходные WCS/ID для обратной проверки.
13) Масштабирование и инфраструктура
- Хранилище: S3/GPFS, ленивое чтение (memory-mapped).
- Предобработка распределённо (Spark/Dask) + on-the-fly augmentation GPU/CPU.
- Тренировка на нескольких GPU (DDP) или TPU; использование mixed precision.
- Пайплайн inference в потоковом режиме и батчевом режиме.
Ключевые формулы (сводно)
- Cross-entropy: ${\mathcal{L}}_{CE}=-{\sum }_c{y}_c\log p_c$.
- Class weights: $w_c=\frac{N}{K{n}_c}$.
- Focal loss: ${\mathcal{L}}_{FL}=-(1-p_t{)}^{\gamma }\log p_t$.
- L2-регуляризация: $\mathcal{L}={\mathcal{L}}_{task}+\lambda \Vert w{\Vert }_2^2$.
- Brier score: $\mathrm{BS}=\frac{1}{N}{\sum }_i(p_i-y_i{)}^2$.
Короткий чек-лист для запуска проекта
- Собрать и версионировать исходные FITS + метки.
- Определить схему разделения (spatial holdout).
- Реализовать нормализацию и реалистичные аугментации.
- Выбрать backbone + мультиканальное входное представление.
- Применить class weighting / focal loss и отслеживать метрики per-class.
- Включить методы оценки неопределённости.
- Задокументировать и контейнеризировать весь стек, логировать эксперименты.
Если нужно, могу подготовить пример конфигурации (архитектура, гиперпараметры, скрипты предобработки) для конкретных входных данных (какие каналы, разрешение, размеры датасета).