Алгоритм (конвейер) — по шагам, с краткими пояснениями и ключевыми формулами.
1) Предобработка изображений
- Калибровка: bias/dark/flat, nonlinearity, fringe removal.
- Космическая привязка (astrometry) и приведение к общей системе координат (WCS/HEALPix).
- Сегментация по полям/датам, метаданные (airmass, seeing, sky, rotator, chip, JD).
2) Фотометрия
- Для разреженных полей: апертурная или PSF-фотометрия.
- Для плотных/переменных полей: PSF-подгонка + forced photometry в каналах/координатах источника.
- Вычислить ошибки потока/магнитуды с учётом фонового шума и ковариаций.
3) Разностная обработка (для транзиентов/быстрых переменных)
- Алгоритмы: Alard–Lupton или ZOGY (предпочтительно ZOGY для оптимального S/N и статистики).
- На разностях делать детекцию кандидатов и forced photometry в исходных кадрах.
4) Сбор временных рядов
- Собрать light curve для каждого уникального источника: magnitude m_i, ошибка ${\sigma }_i$, время $t_i$, флаг кадра.
- Требование минимального числа точек: например $N_{\min }\ge 5$–$10$ (параметризуемо).
5) Метрики вариабельности и первичный отбор
- Простейшие метрики:
- среднеквадратичное отклонение (RMS), медианный абсолютный размах (MAD);
- приведённая хи-квадрат: ${\chi }_{\nu }^2=\frac{1}{N-1}{\sum }_i\frac{(m_i-\bar{m}{)}^2}{{\sigma }_i^2}$;
- Стетсон J/K (robust to пары наблюдений) — использовать готовую реализацию.
- Пороговые критерии (пример): ${\chi }_{\nu }^2>2$ или RMS/MAD выше уровня фотошума на $>3\sigma$. Порог на количество точек выше $N_{\min }$.
- Для периодических кандидатов: периодограмма Lomb–Scargle; оценка значимости — FAP:
$\mathrm{FAP}\approx 1-[1-\exp (-z){]}^M$, где $z$ — мощность, $M$ — число независимых частот. Требовать $\mathrm{FAP}<10^{-3}$ (примерно).
6) Борьба с ложными срабатываниями (практики)
- Мультифильтрная верификация: переменность должна подтверждаться в >1 фильтре или в разностных кадрах.
- Персистентность: сигнал должен повторяться в разных ночах/кадрах, а не быть однокадровым.
- Координатная согласованность: центроид на кадрах и на разности стабилен; смещение центра >PSF/2 — подозрительно.
- PSF-формы: сравнить профили кандидата и звёздной PSF (χ^2 формы), космические лучи и дефекты имеют необычный профиль.
- Контекстные флаги: рядом яркая звезда (diffraction spikes), краевые пиксели, bad pixels, saturation, satellite trails — помечать и отбрасывать.
- Forced photometry на исходных кадрах и на разностях чтобы подтвердить амплитуду и временную структуру.
7) Борьба с систематикой (коррекция общим модам)
- Обнаружение общих мод: собрать матрицу остатков для многих звёзд и выделить компоненты через PCA/ICA/SysRem/TFA; вычитать общие тренды.
- Редукция по параметрам: регрессия остатков по airmass, seeing, sky, chip-x/y, rotrel:
$\delta m={\sum }_k{a}_k{X}_k+\epsilon$, найти $a_k$ обычной линейной регрессией или robust regression.
- Gaussian Process для отдельных кривых, если нужно моделировать систематики со сложной корреляцией по времени.
- Использовать robust-статистики (медиана, MAD) при оценке шума, чтобы не учитывать выбросы.
8) Стратегии контроля ошибок множества тестов
- Использовать False Discovery Rate (Benjamini–Hochberg): упорядочить p-значения $p_{(i)}$ и выбрать максимум i с $p_{(i)}\le \frac{i}{m}q$, где $q$ — желаемый FDR.
- Для периодов — применять бутстрэп/суррогатные ряды для оценки FAP индивидуально.
9) Классификация и ранжирование кандидатов
- Признаки: амплитуда, период, цвет, асимметрия, время спада/роста, PSF-стабильность, флаги.
- ML-классификаторы (Random Forest, XGBoost, CNN на световых кривых/стеклах): обучать на верифицированных наборах (симуляции + известные переменные).
- Выдавать score; порог и human-in-loop для высоких score.
10) Дополнительные проверки и валидация
- Кросс-матч с внешними каталогами (Gaia, Pan-STARRS, SDSS) — исключить известные переменные/галактики/квазары или подтвердить.
- Визуальная проверка первых N кандидатов и периодическая проверка ошибок классификации (active learning).
- Симуляции вставки искусственных источников (injection-recovery) для оценки полноты и чистоты.
Оценки и параметры (примерные)
- S/N-детекция на разностях: требовать S/N $>5$ и подтверждение в ≥2 кадрах.
- Количество наблюдений $N_{\min }=8$ для надёжных variability metrics.
- FAP порог для периодов: $<10^{-3}$–$10^{-4}$, либо использование FDR с $q=0.01$.
Инфраструктура и масштабирование
- Разбивать небосвод по HEALPix, обрабатывать по чанкам; использовать распределённые вычисления (Spark/Dask), хранить light curves в колонковых БД.
- Использовать инкрементальную обработку (streaming) для real-time detections и батчевую для ре-анализа.
- Логирование и метрики качества (ROC, precision/recall, completeness vs depth).
Кратко — критерии отбора: статистическая значимость отклонения от константы (${\chi }_{\nu }^2$, Stetson), достаточное число точек, подтверждение в разностях/нескольких кадрах/фильтрах, стабильность центра и PSF, FAP для периодов. Методы борьбы с ложными: флаги артефактов, forced photometry, multi-band consistency, PCA/GP для систематики, FDR+бутстрэп для контроля ложных открытий.