Архитектура (высокоуровнево)
- Сбор: сетевые зеркала/taps, NetFlow/IPFIX/sFlow, DNS/HTTP лог, TLS metadata, (опционально) payload DPI для внутренних зон.
- Предобработка: дедупликация, парсинг, агрегация в потоки/сессии (flow), анонимизация/маскирование чувствительных полей.
- Фичеинг (стор): онлайн-агрегаторы (sliding / tumbling windows), счетчики и скетчи (Count-Min), онлайновая нормализация.
- Детектор(ы): ансамбль онлайн-моделей (см. ниже).
- Скора и ранжирование: агрегирование аномалий из разных детекторов, нормировка, приоритетизация.
- Инструменты оценивания/обучения: офлайн-пайплайн для ретренинга и валидации, онлайн-модуль для контроля дрейфа и автообновлений.
- Feedback Loop: SOC/аналитики помечают алерты → хранение меток → активное/полусупервизорное обновление.
- Интеграция с SOAR/SIEM для response/корреляции.
Какие данные собирать (с приоритетом)
1. Flow-метрики (обязательно): 5-tuple, bytes, packets, start/end times, duration, flags. (NetFlow/IPFIX)
2. L7 метаданные: HTTP host/path, DNS queries, TLS SNI, JA3/JA3S, user-agent.
3. Temporal/statistical: средняя/медиана/стд по байтам/пакетам на окно, inter-arrival times, burstiness.
4. Поведенческие фичи: число уникальных хостов/портов за T, ratio inbound/outbound, connections per process/user.
5. Репутационные фичи: IP/ASN blacklists, geolocation, newly seen IPs.
6. (Опционально) Payload/эндоинт телеметрия для корелляции при подозрении.
Примеры фичей (онлайн-удобные)
- Количество сессий за окно $W$: $n_W$.
- Средний размер пакета: $\bar{s}=\frac{\sum s_i}{n}$.
- EWMA для byte-rate: $S_t=\alpha x_t+(1-\alpha )S_{t-1}$.
Модели, предпочтительные для онлайн-детекции
(критерии: низкая задержка, возможность инкрементального обновления, устойчивость к шуму)
1. Невоорушенные/полу-супервизорные стрим-алгоритмы
- Streaming Isolation Forest / HSTree — быстрый, хорошо детектирует новизну.
- Incremental PCA / Online SVD — для выявления выбросов в низкоразмерном пространстве.
- One-Class learners с инкрементальным обновлением (онлайн OC-SVM редко масштабируется).
- Streaming clustering (CluStream, DenStream) — для обнаружения новых кластеров/аномалий.
- Sketch- и count-based детекторы (heavy-hitter detection) для DDoS/сканирования.
2. Нейросети в онлайн-режиме
- Автоэнкодеры с мини-батчами + амортизированное обучение; реконструкционный score как аномалия.
- Sequence models (LSTM/Transformer) для последовательной аномалии (поведенческие отклонения) — используют в специализированных сервисах с GPU и буферной агрегацией.
- Streaming/continual variants + experience replay/reservoir sampling.
3. Гибриды/ансамбли
- Сигнатурный слой (IDS) для известных атак + аномалийный слой (писал выше) + supervised классификатор для подтверждения.
- Ансамбли детекторов с агрегированием score (например, взвешенная сумма или мета-класс).
Рекомендации по выбору
- Для низкой латентности и масштабируемости: Streaming Isolation Forest + incremental PCA + sketch-based подсчёт.
- Для поведенческих атак: sequence models (LSTM) с буферной агрегацией по сессиям.
- Всегда комбинировать unsupervised детекцию с минимальным supervised подтверждением (reduce FP).
Оценка ложных срабатываний (метрики и практики)
- Базовые метрики:
- False Positive Rate: $\mathrm{FPR}=\frac{FP}{FP+TN}$.
- True Positive Rate (Recall): $\mathrm{TPR}=\frac{TP}{TP+FN}$.
- Precision: $\mathrm{Prec}=\frac{TP}{TP+FP}$.
- F1-score: $F1=2\cdot \frac{\mathrm{Prec}\cdot \mathrm{TPR}}{\mathrm{Prec}+\mathrm{TPR}}$.
- Оценка в стриме: precision@k, average alert rate per hour, mean time to detect (MTTD).
- Установите бизнес-ограничение на приемлемый алерт-рейд $\alpha$ (например, $\alpha$ алертов/час). Подбирайте порог $\tau$ так, чтобы $P(\text{score}>\tau )\approx \alpha$ на валидационном наборе.
- Используйте ROC/PR кривые офлайн на помеченных наборах; в проде контролируйте реальный FPR и precision.
- Для автоматического порогирования — применяйте EVT (extreme value theory) для моделирования хвоста score-распределения и выбора порога: подгоняете GPD к верхнему хвосту и выбираете $\tau$ по желаемому уровню редкости.
Адаптация к эволюции атак (drift, new techniques)
- Детектирование дрейфа:
- ADWIN, DDM, EDDM — статистические детекторы изменения потока метрик/ошибок; срабатывание запускает ретренинг/пересчет фич.
- Стратегии обновления:
- Sliding window / time-decay: держать модель на последних $T$ данных.
- Incremental learning: обновлять модель онлайн малыми шагами (mini-batches), использовать резервы старых примеров (replay) чтобы избежать катастрофического забывания.
- Periodic full retrain офлайн с расширенным набором меток.
- Полусупервизорный цикл:
- Активное обучение: просить аналитика пометить высокоинформативные примеры (uncertainty sampling).
- Автоматическое переобучение на новых подтверждённых инцидентах.
- Онтология и кластеризация аномалий:
- Кластеризуйте новые аномалии и сопоставляйте с известными TTP; если появляются стабильные новые кластеры — создайте отдельный supervised классификатор.
- Sandbox / honeypots:
- Автоматически отправлять подозрительные образцы в изолированную среду для подтверждения и генерации меток.
- Метрики мониторинга модели:
- drift rate, feature distribution divergence (KLD, MMD), degradation в precision/recall, alert volume jump.
- Политики отката:
- При неконтролируемом росте FP — откатить последнюю модель и увеличить порог/снизить чувствительность до расследования.
Операционные советы
- Латентность: извлечение фич и модель должны укладываться в SLA (ms—сек). Используйте потоковые движки (Kafka, Flink), библиотеки для стриминга (River, MOA).
- Сбалансируйте чувствительность и нагрузку SOC: при малой терпимости к FP — держать higher precision, при угрозе нулевого-day — повышать recall в отдельном канале высокого приоритета.
- Логирование и explainability: отдавайте причины алерта (какие фичи выбились), дополнительные контексты (черные списки, похожие инциденты).
- Тестирование: регулярно запускать red-team/плейбук атак и измерять MTTD и FP.
Короткая схема пороговой настройки (пример)
- Пусть score(x) — аномалийный скор.
- Выберите допустимый алерт-рейд $\alpha$ (alerts/hour).
- На исторических данных найдите $\tau$ такое, что empirical $P(score>\tau )=\alpha$.
- В проде отслеживайте фактический $\hat{\alpha }$ и корректируйте $\tau$ или модели при отклонении.
Итого (ключевые принципы)
- Собирать flow+L7 метаданные и онлайн-агрегировать фичи.
- Использовать ансамбль стрим-алгоритмов (Streaming iForest, incremental PCA, clustering) + опционально sequence models для сложных паттернов.
- Оценивать FP через FPR/precision@k/alert-rate и выбирать пороги по бизнес-ограничениям (EVT для хвоста).
- Адаптировать систему через детектирование дрейфа (ADWIN/DDM), инкрементальное обучение, активное обучение и воркфлоу с обратной связью аналитиков.