Диагностика — сверху вниз (прикладной → физический). Для каждого уровня: что измерять, инструменты, признаки узкого места и быстрые/долгие решения.
1) Прикладной уровень (Application)
- Что мерить: время отклика сервисов (TTFB), ошибки приложения, нагрузку на БД, HTTP error rate, пиковые транзакции/сек.
- Инструменты: APM (NewRelic, Datadog), логи, synthetic HTTP checks, slow query log.
- Признаки: TTFB растёт, увеличиваются 5xx/4xx, долгие запросы базы.
- Быстро: кеширование (CDN, Redis), приоритизация критичных запросов, отложить фон. задач.
- Долгосрочно: масштабирование сервисов, шардирование БД, оптимизация запросов, кеширование слоёв.
2) Транспорт (TCP/UDP)
- Что мерить: retransmits, RTT, jitter, TCP window, connection churn.
- Инструменты: ss/netstat, tcpdump/tshark, Wireshark, iperf3, perf on servers, netstat -s.
- Пороговые ориентиры: retransmits > $\ge 1\%$ — тревога; RTT рост на $\ge 50\%$ от базовой; длительные RTT $\ge 200\text{ms}$.
- Как диагностировать: сравнить tcp retransmits и cwnd, смотреть tcp.analysis.retransmissions в Wireshark, тест iperf между клиентом и сервером.
- Быстро: настроить TCP параметры (window scaling), уменьшить конкурирующие потоки (rate-limit), QoS для важных потоков.
- Долгосрочно: оптимизация стека TCP, offload на NIC, балансировка соединений, увеличение каналов между дата-центрами.
3) Сетевой уровень (маршрутизация, латентность)
- Что мерить: утилиты traceroute/mtr, packet loss per-hop, route flaps, routing table size, interface utilization.
- Инструменты: mtr, traceroute, SNMP, NetFlow/sFlow, маршрутизаторные show-команды.
- Пороговые ориентиры: link utilization $\ge 80\%$ — риск; packet loss $\ge 1\%$ — ухудшение TCP; AS path flaps частые.
- Диагностика: mtr от клиентской точки до сервисов; NetFlow для выявления топ-10 потоков; проверить ECMP/hash imbalance.
- Быстро: reroute/redistribute критичные потоки, временно добавить backup path, ACL/шаблоны чтобы блокировать нежелательный трафик.
- Долгосрочно: пересмотреть топологию (leaf-spine), добавить полосы/каналы, внедрить TE/SDN, балансировку и маршрутную оптимизацию.
4) Канальный уровень (коммутаторы, очереди)
- Что мерить: drops/tx_err/rx_err, queue drops, buffer usage, MAC storm/broadcast rate, STP loops.
- Инструменты: show interfaces counters, ethtool -S, switch port mirroring, sFlow/RMON.
- Признаки: интерфейсные ошибки, большие очереди, сбросы пакетов на портах, высокая CPU коммутатора.
- Быстро: включить QoS/priority-queueing для чувствительного трафика, очистить ненужные широковещания, исправить STP config, временно ограничить bulk-трафик.
- Долгосрочно: увеличить буферы, модернизация коммутаторов, VLAN/ACL рефакторинг, внедрение AQM (CoDel/RED).
5) Физический уровень (кабель, SFP, интерфейсы)
- Что мерить: CRC, FCS errors, carrier loss, SFP Tx/Rx power, BER, link flaps, duplex/negotiation.
- Инструменты: ethtool, show controllers transceiver, optical power meter, cable tester.
- Признаки: растущие CRC/FCS, частые линки ап/даун, mismatched speed/duplex, плохие SFP показания.
- Быстро: заменить проблемный кабель/SFP, задать фиксированные speed/duplex если нужно, переназначить порт на резерв.
- Долгосрочно: заменить старую медную разводку на CAT6/CAT6a или оптику, стандартизировать SFP, инспекция и SLA по физике.
Практический пошаговый план действий при пиковой деградации
1. Подготовка: включить расширённый сбор метрик (SNMP/NetFlow, APM) и снимать baseline.
2. Репродуцирование: воспроизвести пик (синтетикой) или поймать на live — собрать tcpdump/flows.
3. Быстрые проверки (порядок): ping/ICMP latency от клиентских сегментов; mtr до сервиса; iperf3 между хостами (прямая проверка пропускной способности); посмотреть interface utilization и errors; проверить CPU/memory на сервере/коммутаторе; изучить retransmits.
4. Изоляция: бинарное деление сети — отключать/перенаправлять сегменты, чтобы найти область проблемы (агрегирование потоков).
5. Корневой анализ: по collected logs/flows найти top-talkers, heavy flows, приложения, вызывающие нагрузку.
6. Фиксация и тестирование ремедиаций (QoS, лимит, замена физики) и мониторинг результата.
Типичные узкие места
- Сатурация агрегатных link (core/aggregation).
- Нехватка CPU/IO на серверах/коммутаторах.
- Bufferbloat / большие очереди → высокая латентность при нагрузке.
- TCP-ограничения (window/RTT) при высоком RTT.
- Артефакты слоя 2 (STP, broadcast storm).
- Физические ошибки (плохие кабели/SFP).
Краткосрочные (оперативные) решения
- QoS/priority для критичных сервисов.
- Rate-limiting для неважных bulk потоков (backup/updates) в часы пика.
- Включить LACP для агрегации там, где можно.
- Временно перенести трафик на резервные каналы/перенастроить маршруты.
- Заменить дефектные физические компоненты (кабели/SFP), исправить duplex.
- Активация AQM (CoDel) для борьбы с bufferbloat.
- Горячее масштабирование приложений (добавить инстансы) если узкое место — сервер.
Долгосрочные решения
- Архитектурное: leaf-spine, увеличение пропускной способности (переход на $\text{10/40/100 Gbps}$).
- Инфраструктура: обновление коммутаторов/роутеров с бОльшими буферами и CPU, оптика вместо меди.
- Сетевая политика: продуманная QoS, TE (MPLS/SDN), ECMP оптимизация.
- Приложения: кэширование, CDN, rate-limit для фоновых задач, асинхронные очереди.
- Наблюдаемость: полнофункциональный мониторинг (метрики, трассировка, flow), capacity planning и alerting на пороги ($\ge 80\%$ использования интерфейса, packet loss $\ge 1\%$, cpu $\ge 85\%$).
- Процессы: тестирование изменений, обучение операций, runbooks на пиковые сценарии.
Короткий чек-лист для начала прямо сейчас
- Снять baseline метрик и включить packet capture на проблемных портах.
- Выполнить iperf3 между ключевыми узлами.
- Проверить интерфейсные counters/CRC и SFP-уровни.
- Просмотреть top-talkers через NetFlow/sFlow.
- Включить временный QoS/лимит для bulk-трафика и измерить эффект.
Если нужны конкретные команды/пример вывода для вашей платформы (Linux/Cisco/etc.) — скажите какая и дам набор команд и интерпретацию.