Коротко и по делу — возможные причины, шаги диагностики и набор мер для устранения/предотвращения множества TCP‑перепосылок и дублированных ACK.
1) Возможные причины
- Потери на физическом канале: повреждённые кабели, плохие SFP, помехи (особенно в медной/беспроводной среде) — проявляются CRC/ifErrors.
- Перегрузка/переполнение буферов (очередей) на хосте, коммутаторе или роутере → потеря пакетов/очередность.
- Неправильный MTU / фрагментация / блокировка ICMP (PMTUD) — фрагментация/«fragmentation needed» не проходит.
- Middlebox (firewall, NAT, IPS, load‑balancer) — убирает/перемещает/модифицирует пакеты, делает MSS‑clamping, вызывает реордеринг или дропы при асимметричном трафике.
- Ассиметрическая маршрутизация / stateful firewall, разрыв состояний.
- Переупаковка/оффлоады NIC (TSO/GSO/LRO) — видимая в захвате «реордеринг»/дубликаты.
- Сбои драйверов/прошивки, ошибочная конфигурация дуплекса/скорости (duplex mismatch).
- Беспроводная нестабильность / интерференция → высокая потеря/реордеринг.
- Реордеринг пакетов (ECMP, multi‑path, агрегированные интерфейсы) → дубликаты ACK вместо нормального потока.
2) Диагностические шаги (последовательность, команды/метрики)
- Захват трафика: tcpdump -i -s0 -w capture.pcap 'host A and host B and tcp' — захватить полные пакеты. (при анализе отключить NIC offloads, чтобы не вводить артефакты).
- Анализ в Wireshark/tshark: фильтры и поля:
- tcp.analysis.retransmission, tcp.analysis.fast_retransmission, tcp.analysis.duplicate_ack, tcp.analysis.reused_ack.
- смотреть MSS, SACK, timestamps, Window Scale, TCP сегментацию.
- Оценить частоту/долю перепосылок: отношение количества retransmissions к общим сегментам; задать порог уведомления (например, если > $1\%$).
- RTT и RTO: измерить RTT по захвату и сравнить с RTO/повторами; посмотреть, не слишком ли велико/малое значение таймаутов (RFC начальный RTO — $1$ s).
- Проверка MTU/PMTUD: tracepath/tracepath6 или traceroute --mtu; ping с DF: ping -M do -s (увеличивать размер), чтобы найти максимальный полезный MTU; стандартный Ethernet MTU $1500$, Jumbo часто $9000$.
- Тесты пропускной способности/потерь: iperf3/iperf с измерением потерь и jitter; прописать тесты в обе стороны.
- Проверка интерфейсных счётчиков на коммутаторах/роутерах/сервере: ifInErrors, ifOutErrors, ifInDiscards, ifOutDiscards, CRC, collisions (SNMP; OIDs IF-MIB::ifInErrors etc).
- ethtool / ethtool -S / ethtool -k для проверки статистик и состояния offload/TSO/GSO/LRO, speed/duplex, автонеготация.
- Проверка логов коммутаторов/маршрутизаторов: MAC flaps, interface resets, STP/ECMP churn.
- Проверка маршрутов/асимметрии: traceroute, mtr; сравнить пути в обе стороны.
- Проверка middlebox: временно обойти firewall/load‑balancer (если возможно) и повторить тесты; проверить конфигурацию MSS‑clamping и NAT timeouts.
- Сбор метрик и мониторинг: netstat -s / ss -s / tcpstat; SNMP/Prometheus метрики: retransmissions, tcp_established, ifUtilization. Настроить алерты на рост retrans/% и high utilization (> $90\%$).
- При подозрении на реордеринг: отключить TSO/GSO/LRO на сервере для проверки, потому что offload может скрывать/создавать артефакты в пкапах.
- Диагностика очередей и буферов: посмотреть QDisc (tc -s qdisc), latency/queue lengths, bufferbloat тесты.
3) Рекомендованные меры по устранению и предотвращению (prod)
- Физика/сеть доступа:
- заменить подозрительные кабели/SFP, проверить коннекторы; исправить дуплекс/скорость; обновить прошивку/драйверы.
- исправить интерфейсные ошибки (если ifErrors > 0 — investigate and repair).
- MTU/PMTU:
- убедиться в согласованности MTU по пути; разрешить ICMP «Fragmentation needed» в firewall; при необходимости включить/настроить MSS clamping на boundary devices.
- Конфигурация и QoS:
- настроить QoS/priority для ACKs и latency‑sensitive трафика; ограничить/формировать трафик, чтобы предотвратить переполнение очередей.
- внедрить AQM (CoDel, PIE) на устройствах с очередями для борьбы с bufferbloat.
- Средства управления перегрузкой:
- использовать современные алгоритмы управления перегрузкой (например, BBR или tuned CUBIC) при необходимости; включить ECN, если оборудование и сеть поддерживают.
- Middlebox и маршрутизация:
- устранить асимметрию маршрутов или настроить stateful middleboxes в обоих направлениях; проверить и скорректировать конфигурацию load‑balancer (flow pinning, session affinity) чтобы уменьшить реордеринг.
- при обнаружении проблем от IDS/IPS — настроить правила/профили или исключения.
- NIC offloads и capture:
- для достоверного анализа временно отключать TSO/GSO/LRO, чтобы избежать ложных признаков реордеринга; но в prod оставить offloads включёнными, если они улучшают производительность.
- Мониторинг и alerting:
- мониторить retransmissions, duplicate ACKs, interface errors, link utilization; задать пороги (например, retrans > $1\%$ или link util > $90\%$ → alert).
- настроить синтетические проверки (iperf, http GET) между ключевыми точками и записывать SLA.
- Тестирование и staged changes:
- вносить изменения поэтапно в тестовом сегменте, контролировать метрики, затем продвигать в prod в maintenance window.
- Документирование и процедуры:
- иметь runbook с последовательностью диагностики (захват, ключевые фильтры, команды), и плейбук быстрых действий при всплесках перепосылок.
- Долгосрочно: capacity planning, upgrade оборудования при хронической перегрузке, корректная архитектура ECMP/flow hashing, отказоустойчивые схемы без реордеринга.
Коротко о приоритете действий при инциденте:
1) собрать pcap и метрики (tcpdump, SNMP, if counters, ss/netstat).
2) проверить ошибки интерфейсов и скорость загрузки линка.
3) проверить MTU/PMTUD и middlebox (обход).
4) временно отключить NIC offloads для корректного анализа.
5) локализовать и устранить: заменить физику, настроить MSS/PMTU, QoS/AQM, или поправить конфигурацию middlebox.
Если нужно — могу предоставить примеры tcpdump/tshark/ethtool/ping команд и конкретные фильтры для анализа.