Краткая методология (пошагово), включающая критерии отбора, ML и план спектроскопии. Формулы в KaTeX.
1) Поток предфильтрации (реалтайм, цель — снизить поток оповещений)
- Убираем движущиеся объекты (SSO) по трекам и скоростям; требуем минимум $N_{\text{det}}\ge 2$ детекций в разных кадрах (или в двух фильтрах) в пределах $t_{\max }$ (например 2–7 суток).
- Отбрасываем артефакты разности изображений (краевые зоны, насыщение, космические лучи) по quality flags.
- Привязываем к хосту: если есть известный звёздный источник — помечаем как вариант переменной звезды/флэра.
2) Первичные фотометрические критерии отбора (класс-специфичные фильтры)
- Общие: пиковая видимая магнитуда $m_{\text{peak}}$ и скорость изменения $\dot{m}=\Delta m/\Delta t$. Требуем минимум S/N в нескольких точках.
- SLSN-подобные: пред-пик/пик очень яркие $M_{\mathrm{peak}}\lesssim -20$ (фото‑z/спектр нужен для $M$), синие цвета (примерно $g-r\lesssim 0$ до пика) и медленный подъём $t_{\mathrm{rise},\mathrm{rest}}\gtrsim 20$ сут.
- FBOT (fast blue optical transient): быстрый подъём/спад $t_{\mathrm{rise},\mathrm{rest}}\lesssim 5$ сут, очень синие на подъёме.
- Calcium-rich/Gap transients: низкая пиковая светимость $-16\lesssim M\lesssim -15$, быстрый спад, часто большие смещения от гало хоста.
- Type Iax/подвиды: более низкая яркость и медленные спектральные скорости; фотометрически — мягкие цвета и умеренный спад.
- Формализовать в набор порогов: например, сохранить кандидат если выполняется хотя бы один набор условий для интересующих редких классов.
3) Фичи для ML и предобработка
- Локальные фичи: моменты световой кривой (peak, rise time, decline rates $\Delta m_{15}$), цвета и их эволюция $c(t)=m_a(t)-m_b(t)$, асимметрия кривой, RMS остатков.
- Интерполяция/выравнивание: Gaussian Process или parametric fits (e.g., Bazin) для вычисления фич при нерегулярной выборке.
- Контекстные фичи: смещение от центра хоста (kpc или arcsec), фотометрический красный сдвиг хоста $z_{\mathrm{phot}}$, тип хоста (SDSS/LSST каталоги), локальная поверхностная яркость.
- Изображенческие фичи: разность PSF и extended flux, наличие перемешивания (blending).
- Веса/нормализация для классов с сильным несбалансом.
4) Архитектура ML и обучение
- Два параллельных блока:
a) Классификация по известным типам (supervised): Gradient Boosted Trees (XGBoost/LightGBM) для быстрых фичей + Deep Learning (RNN / TCN / 1D-CNN по последовательности) для необработанных light curves. Использовать class-weighting и oversampling для редких классов.
b) Аномалия / novelty detection (unsupervised/semi-supervised): автоэнкодеры, VAE, Isolation Forest или Gaussian Mixture; выделяют нестандартные события.
- Комбинация: объединённый скорер, где итоговый "rarity score" $p_{\text{rare}}$ — смесь supervised prob и anomaly score:
$$S_{\text{rarity}}=\lambda p_{\text{ML}}+(1-\lambda )\frac{1}{1+AE\_loss}$$ (нормировать диапазоны; $\lambda$ подбирать на валидации).
- Активное обучение: выбирать для спектроскопии объекты с максимальной неопределённостью (порог по энтропии) и/или высоким $S_{\text{rarity}}$ для разметки и пополнения тренировочной выборки.
- Domain adaptation / transfer learning: тренировать на смешении симуляций (SNANA/MLSN) + существующих наборов данных (ZTF, DES) и fine-tune на реальном LSST-стриме.
5) Валидация, метрики, симуляции
- Запуск injection–recovery: внедрять синтетические редкие SNe в реальные кадры и проверять полноту/чистоту.
- Метрики: precision@k, recall, F1 для редких классов; ROC AUC для двоичной «редкость/обычность».
- Кривые трейн/валид: варьировать межклассные веса, контролировать false positive rate (FPR) при допустимом recall.
6) Приоритизация для спектроскопии (очередность)
- Составить скорер приоритетов:
$$P=S_{\text{rarity}}^{\alpha }\times 10^{-0.4(m-m_0)}\times V\times H$$ где $m$ — текущая видимая маг., $m_0$ — нормальная величина (напр. 20), $V$ — видимость/возвышенность на небе (0–1), $H$ — «научная ценность» (например, поиск юного события имеет бонус). $\alpha$ задаёт агрессивность в сторону редкости.
- Разделение по уровням:
- Tier 1 (экстренно, быстрый набор): яркие ($m\lesssim 21$), высокий $S_{\text{rarity}}$, молодые (до/вокруг пика) — быстрые низкоспектральные классификационные спектры.
- Tier 2 (глубокая классификация): слабее/высокозначащие — 6–10 m телескопы, среднее разрешение.
- Tier 3 (поздняя, необязательная): поздние/необычные — многосерийная спектроскопия (небулярная фаза), IFU-спектры хоста.
7) План спектроскопических наблюдений
- Цели спектроскопии: типирование, измерение красного сдвига, измерение скоростей расширения/ особенностей (O II, Si II, Ca).
- Стратегия:
1. Быстрая классификация: R~300–1000, S/N per resel $\sim 5$–10; цель — отличить SLSN/FBOT/Ia/II/TDE. Можно использовать 2–4 m телескопы для $m\lesssim 21.5$.
2. Подтверждение и физический анализ: R~1000–3000, S/N$\sim 10$–20 на 6–10 m для $m\gtrsim 21.5$ или высокозондажных событий.
3. Небулярная фаза (многие месяцы после пика): 8–10 m, R~1000–5000 для изучения элементного состава.
4. IFU/спектроскопия хоста для локальной среды и точного красного сдвига.
- Оценка экспозиции: приблизительная зависимость
$$t\propto {\left(\frac{S/N}{(S/N{)}_0}\right)}^{2}10^{0.8(m-m_0)}$$ (если для $m_0$ и $(S/N{)}_0$ известна базовая экспозиция $t_0$). Для типовой задачи классификации S/N$\sim 10$ на $m=21$ может требовать порядка $t\sim$ несколько ks на 4 m, существенно больше на 8–10 m.
8) Цикл улучшения
- Использовать результаты спектроскопии для дообучения моделей (active learning).
- Контроль за дрейфом распределений (covariate shift) — перенос на реальные данные LSST.
- Обновление симуляций и порогов после первых сезонов наблюдений.
9) Наиболее проблемные ложные срабатывания (и как с ними бороться)
- Артефакты разности изображений (подложка, неправильная PSF): фильтровать по quality flags и многокадровым подтверждениям.
- Движущиеся объекты и астероиды: быстрые apparent motion cuts, cross-match с SSO-краудсорсингом.
- Активные ядра галактик (AGN) и переменная активность ядра: AGN часто показывают долгую, stochastic изменчивость; бороться через контекст (хост-ядро, фот‑z, долгосрочный light curve history).
- Катаклизмические переменные (CV, dwarf novae) и флэры красных карликов: отличать по цветам (M‑dwarf флэры очень сини на подъёме, но быстры и часто имеют звёздный-хост), по постоянному каталожному источнику в позиции.
- Тидальные события (TDE) и другие транзиенты с подобной фотометрией: требуют спектра для разделения (TDE показывают сильный UV/He lines).
- Переменные звёзды (RR Lyrae, Cepheids): регулярность и амплитуда помогут убрать.
- Возможные оптические имитации (microlensing, lensing peaks): длительность и отсутствие цветовой эволюции — признак лэнсинга.
- Ошибки фотометрических красных сдвигов хоста: приводят к неправильным абсолютным величинам и неверным классам — применять качественные photo-z и/или спектр хоста.
- Наконец, статистическая проблема: при огромном потоке LSST редкие классы порождают много ложных срабатываний просто из-за шума; поэтому важно жёстко контролировать FPR и иметь многоступенчатую систему сокрытия кандидатов.
10) Практические рекомендации
- Использовать гибрид: быстрые ML-фильтры (много recall) + строгая приоритизация перед спектроскопией (чтобы обеспечить приемлемую purity).
- Интегрировать human-in-the-loop (crowdsourcing/экспертная проверка) для топ‑N кандидатов в начале кампании.
- Планировать договорённости с сеткой телескопов (ToO) для экстренной классификации и выделения 6–10 m времени для самых интересных и слабых кандидатов.
Ключевые идеи в сжатом виде: многоступенчатая фильтрация → тщательная фича-инженерия (фото+контекст) → гибрид supervised ML + anomaly detection → активное обучение и приоритизация → качественная, иерархическая спектроскопическая программа. Наиболее проблемные ложные срабатывания — артефакты разности изображений, движущиеся объекты, AGN/флэровые звёзды и ошибки в photo‑z/блендинге.