План системного анализа (коротко и по пунктам), возможные причины и меры оптимизации.
1) Цель и гипотезы
- Определить SLO/SLA: допустимая латентность и пропускная способность, напр. $p_{95}\le 200\text{ms}$, throughput $\ge 1000\text{ops/s}$.
- Сформулировать гипотезы: CPU/IO/network/контеншн/фоновые задачи/горячие файлы.
2) Сбор метрик (базовый набор)
- Клиентские метрики: латентности по перцентилям $p_{50},p_{95},p_{99}$, ошибки, таймауты, throughput (ops/s): $\text{throughput}=\frac{\text{operations}}{\text{second}}$.
- Серверные ресурсы: CPU utilization $U=\frac{\text{busy time}}{\text{total time}}$, memory, swap, load average.
- Дисковые: IOPS, bandwidth (MB/s), диск-латентность (avg/p95), queue depth, read/write mix, iostat/blktrace.
- Сеть: throughput (Gb/s), retransmits, RTT, socket queue lengths, NIC drops.
- Сервисные: очередь запросов (length, wait time), thread pool usage, connection counts, GC паузы (если JVM/Go), locks/contension, RPC latencies.
- Хранилище/метаданные: метрики мастера/metadata server (QPS, replication lag), cache hit rate, hot keys/files.
- Фоновые задачи: compaction/replication/rebalance/scrub — их расписание и нагрузка.
- Сбор срезов во времени при пиках и вне пиков.
3) Воспроизведение и профилирование
- Воспроизвести нагрузку на стейджинг с нагрузочным поколением; захват метрик в момент деградации.
- Профайлеры: flamegraphs (perf, CPU), pprof (Go), Java Flight Recorder / async-profiler (JVM).
- Системный трейс: strace/ktap/eBPF для syscalls, blktrace для диска, tcpdump/wireshark для сетевых аномалий.
- Heap/GC профили, thread dump, lock contention sampling.
- Собирать spans/traces (Distributed Tracing) чтобы связать долгие запросы с компонентами.
4) Поиск узких мест (checklist)
- CPU-bound: высокий $U$ на CPU, горячие функции в профайлере.
- IO-bound: высокая disk latency, большая queue depth, low IOPS vs ожидаемое.
- Network-bound: saturating links, высокая RTT, retransmits.
- Queueing/backpressure: рост длины очередей и времени ожидания (см. Little’s law: $L=\lambda W$).
- GC/stop-the-world: долгие GC-паузы коррелируют с задержками.
- Lock contention / single-threaded bottlenecks: hot locks, serialized code paths.
- Metadata hot-spot: одни файлы/ключи получают непропорционально много запросов.
- Фоновые операции: compaction/rebalance в пиковое время.
- Конфигурационные лимиты: thread pools, connection limits, socket backlog.
5) Диагностика и корреляция
- Коррелировать пики латентности с метриками (CPU, IO, сеть, GC, фоновыми задачами).
- Изолировать компонент: отключить фоновые задачи, направить трафик на конкретный узел.
- Микробенчмарки: маленькие/большие I/O, random vs sequential, количество параллелизма.
- Проверить клиентское поведение: bursty requests, retry storms, timeouts.
6) Быстрые меры (short-term)
- Ограничить и смягчать: rate limiting, client backoff, connection throttling.
- Поставить приоритеты: QoS, приоритетные очереди для latency-sensitive операций.
- Отключить/перенести тяжелые фоновые задачи из пикового окна (compaction, rebalancing).
- Увеличить количество worker/thread-pool для IO-bound операций (с осторожностью).
- Увеличить кэширование: включить/увеличить metadata и data cache, использовать SSD для hot tier.
- Тонкая настройка GC/параметров runtime, увеличить heap/stack там, где нужно.
7) Среднесрочные оптимизации
- Шардинг/репликация: перераспределить нагрузки, устранить hot-spot узлы.
- Бэтчинг и coalescing: объединять мелкие операций в большие, уменьшать пер-операционные накладные расходы.
- Изменить размер блоков/страниц: уменьшить число IOPS для больших файлов или оптимизировать для мелких объектов.
- Асинхронные операции и неблокирующий IO (AIO, io_uring).
- Использовать tiered storage: SSD для метаданных/горячих объектов, HDD для холодных.
- Улучшить балансировку запросов и placement алгоритмы.
8) Долгосрочные меры
- Capacity planning: расширение пропускной способности (CPU, диски, сеть) под ожидаемые пики.
- Автомасштабирование (scale-out) компонентов под нагрузкой.
- SLA-aware scheduling: запуск фоновых задач в low-load окна.
- Внедрение мониторинга и алертов по ключевым метрикам (latency percentiles $p_{95},p_{99}$, queue length, disk latency).
- Постоянное профилирование и регулярные стресс-тесты.
9) Валидация изменений
- AB-тестирование/канарейка изменений, метрики до/после, регресс-тесты.
- Измерять улучшение по целевым метрикам: уменьшение $p_{95}$, рост throughput, снижение error rate.
10) Примеры проверок и команд
- iostat/blktrace, sar, vmstat
- perf / flamegraph / pprof / async-profiler / jfr
- tcpdump, ss, iftop, ethtool
- eBPF scripts (bcc) для системных трассировок
- application logs, tracing (Jaeger/Zipkin), metrics (Prometheus + Grafana)
Краткая сводка: соберите и коррелируйте метрики по latency/throughput с системными метриками и профайлингом, локализуйте узкое место (CPU/IO/сеть/контеншн/фоновые задачи/metadata hot-spot), примените быстрые смягчающие меры (rate limit, приоритезация, кеширование), затем средне- и долгосрочные оптимизации (sharding, tiering, асинхронность, capacity planning) и валидацию изменений через A/B и мониторинг.