Кратко и по делу — возможные причины, что смотреть и что делать.
1) Возможные причины (по уровням)
- Канальный уровень:
- Плохая физика (ошибки CRC, шум, битовые ошибки) → link‑level retransmissions, корявые кадры, пачки повторов/перестановок.
- DSL/LTE/мобильный ARQ/интерливинг — скрытые повторные передачи и задержки, которые увеличивают RTT и могут приводить к out‑of‑order при восстановлении.
- Коммутатор/порт с ошибками, дуплекс‑несоответствие, перегрузка интерфейса.
- Маршрутизация / сеть:
- Ассиметричный маршрут (ответ идёт другим путем) — ACK теряются или приходят позже.
- ECMP / load‑balancer с per‑packet hashing → разброс пакетов потока по разным путям → out‑of‑order и ретрансмиссии.
- Перегруженные/многохоповые очереди (через ISP) — потери и буферблоат.
- NAT/Firewall/IPS/SSL‑offload, DPI, туннели с многопоточностью — буферизация и ре‑ordering.
- MTU/фрагментация:
- Туннели (GRE, IPsec) и PPPoE уменьшают полезную MTU → фрагментация или PMTUD‑blackhole → сегменты теряются/переотправляются.
- Неправильный DF/ICMP‑blocking мешает PMTUD.
- Приложения / TCP‑стек:
- Малые MSS/параллельные потоки, агрессивный тайм-аут RTO, отключённый SACK/Timestamps → плохая производительность при потере.
- Плохая конфигурация окон, отсутствие window scaling для WAN (BDP).
- Приложение генерирует bursts (синхронные короткие передачи) → переполнение сетевых буферов.
2) Инструменты и метрики — что использовать и на что смотреть
- ping:
- Проверка reachability, RTT, jitter, packet loss.
- Для MTU/PMTUD: `ping -M do -s $1472$ ` (подбирая размер).
- Метрики: средний RTT, медиана, джиттер, loss %.
- traceroute / tcptraceroute / mtr:
- Находят перехватившие узлы, где растёт RTT или появляется потеря.
- Сравнивать ICMP/UDP/TCP варианты (firewall может по-разному обрабатывать).
- tcpdump / tshark:
- Захват трафика: фильтры `tcp and host A and host B`.
- Ищите: tcp retransmission, dup ack, fast retransmit, out‑of‑order, RST.
- Пример фильтров Wireshark: `tcp.analysis.retransmission`, `tcp.analysis.out_of_order`.
- Метрики: число retransmissions, dup ACKs, out‑of‑order packets, сегментов с DF, IP фрагментация.
- Wireshark:
- Анализ последовательностей, SACK, MSS, Timestamps, периоды RTO, график RTT, Expert Info.
- iperf / iperf3:
- Измерение доступной пропускной способности, потерь и jitter (UDP).
- Использовать потоковую/многопоточную нагрузку: `iperf3 -c -P $4$` для сравнения single vs parallel.
- Сетевые устройства / SNMP / CLI:
- interface counters: input/output errors, CRC, drops, collisions, queue drops.
- routing tables (асимметрия), flow/ECMP statistics, CPU load, IPS/IDS stats.
- Локальные системные метрики:
- `netstat -s` (TCP статистика), tcp_* sysctl параметры, dmesg (network errors).
- Важные числа/метрики для отслеживания:
- packet loss %, retransmission rate, dup ACKs/s, out‑of‑order %, RTT median и RTT variance, BDP $$BDP=BW\cdot RTT$$.
3) Диагностика — порядок действий
- Сравнить RTT/ping и traceroute (ICMP vs TCP): найти где растёт задержка/потери.
- Проверить интерфейсные ошибки на обоих концах (CRC, drops).
- Захват tcpdump на клиенте и бека (capture обеих сторон если возможно) — синхронизировать по времени и искать порядок пакетов, retransmits, dup ACKs.
- Проверить наличие ECMP/load‑balancer и его hashing; запустить поток и смотреть, не меняется ли путь per‑packet.
- Тест MTU/PMTUD: ping с DF, посмотреть ICMP fragmentation needed; tcpdump показывающий DF/frag.
- Пропускная способность: iperf тесты (single vs parallel streams, UDP для jitter/loss).
- Проверить конфигурации firewall/NAT/IPS на предмет stateful timeout, session mirroring, offload.
4) Исправления на оборудовании (network/infrastructure)
- Физика:
- Заменить кабели/порты, исправить дуплекс, обновить/прошивку NIC, убрать битовые ошибки.
- Link/Layer:
- Включить/настроить FEC (если доступно), отключить/настроить interleaving, оптимизировать ARQ на радиосетях.
- Маршрутизация / балансировка:
- Переключить ECMP с per‑packet на per‑flow hashing; настроить равномерность хеширования.
- Исправить ассиметрию маршрутов, согласовать маршруты у провайдеров.
- Обновить/прошить load‑balancer, проверить multiqueue/flow pinning.
- MTU / туннели:
- Уменьшить MTU на краях туннеля или настроить MSS‑clamping на роутере: например iptables/edge NAT clamp MSS to $1400$ (пример).
- Включить tcp_mtu_probing на Linux, обеспечить прохождение ICMP fragmentation needed.
- QoS / буферы:
- Настроить QoS (приоритет для малого RTT трафика), включить fq_codel/PIE, ограничить буферблоат.
- Уменьшить очереди, применять RED/fq_codel для избежания хвостовых потерь.
- Offload / DPI:
- Проверить и, при необходимости, отключить CPU‑тяжёлую инспекцию, включить правильную многопоточность или ускорение HW.
- Мониторинг:
- Включить сбор SNMP/flow и алерты по интерфейсным ошибкам и росту retransmits.
5) Исправления на уровне приложения / стека TCP
- Включить SACK, Timestamps, Window Scaling; использовать современные алгоритмы CC (CUBIC/BBR) при уместности.
- Настроить MSS/MTU в стеке, включить tcp_mtu_probing.
- Для высоких RTT — увеличить TCP‑окно, использовать tuning для BDP: $$BDP=BW\cdot RTT$$ и задавать window ≈ BDP.
- Применять клиентскую/серверную агрегацию, pacing (TCP pacing) чтобы избежать bursts.
- В протоколах приложений:
- Уменьшить количество параллельных коротких потоков; использовать мультиплексирование (HTTP/2, QUIC).
- Для передачи медиа — адаптивный битрейт, FEC на приложении (для UDP/real‑time), ретрансляция только при необходимости.
- Логика повторов:
- Реализовать экспоненциальную задержку при повторных попытках, уменьшить агрессивные таймауты.
- Рассмотреть переход на QUIC (UDP‑осн.) для лучшей устойчивости к loss и reordering в некоторых сценариях.
6) Примеры команд и полезные проверки (коротко)
- MTU тест: `ping -M do -s $1472$ `
- Traceroute TCP: `traceroute -T ` (или tcptraceroute)
- tcpdump: `tcpdump -i eth0 -w capture.pcap tcp and host and host `
- Wireshark: фильтры `tcp.analysis.retransmission` и `tcp.analysis.out_of_order`
- iperf3: `iperf3 -c -P $4$`; UDP: `iperf3 -c -u -b 100M`
- Проверка интерфейса (Cisco): `show interface GigabitEthernet0/1` — смотреть CRC, input/output errors.
Заключение (в одном предложении)
- Сначала локализовать проблему (link vs path vs MTU vs app) с помощью ping/traceroute/tcpdump/iperf, затем устранять на уровне физики/маршрутизации/MTU/настройки TCP и, при необходимости, адаптировать приложение (MSS, pacing, FEC, QUIC и т.д.).