网络观测工具箱：ss、ethtool、tcpdump、nstat

按层次排队，不要随机试

工具多不是好事，顺序固定才是。四层从下往上，每层挑一条命令，走完基本就定位了：

第 1 层  接口与链路   → 网线通不通、速率对不对、有没有硬件错误
第 2 层  连接与队列   → 连接状态、谁在排队、窗口多大
第 3 层  协议栈计数   → 重传、丢弃、conntrack、监听队列
第 4 层  抓包         → 前三层给不出结论时才用

抓包放最后不是因为它没用，而是因为它信息量太大。前三层通常已经能收敛到某一段， 带着假设去抓包，效率比一上来就抓高一个数量级。

第 1 层：接口与链路

# 一眼看全：状态、MTU、收发计数、错误与丢弃
ip -s link show bond0

# 协商结果：速率、双工、自协商
ethtool bond0 | grep -E 'Speed|Duplex|Link detected'

# 网卡自己的详细计数器（各厂家字段名不同，用 grep 捞关键词）
ethtool -S bond0 | grep -iE 'err|drop|discard|missed|pause'

# 队列深度与中断合并的当前设置
ethtool -g bond0
ethtool -c bond0
ethtool -l bond0        # 有几个收发队列（RSS）

ethtool -S 是这一层最有价值的命令。三类关键词的含义：

# -M do 禁止分片，-s 8972 = 9000 − 28 字节头部
ping -M do -s 8972 10.10.1.103

第 2 层：连接与队列

# 某个对端的连接明细：cwnd、rtt、重传、发送速率
ss -tim dst 10.10.1.103

# LISTEN socket 的 accept 队列积压与上限
ss -lnt

# 按状态统计，快速发现 TIME_WAIT / CLOSE_WAIT 堆积
ss -s

# 谁占着这个端口
ss -tlnp | grep :8080

三个高频判断：

• Send-Q 高 → 发不出去，问题在对端或路径
• Recv-Q 高（ESTAB 连接上）→ 应用读得慢，问题在本机应用
• Recv-Q 顶到 Send-Q（LISTEN 行上）→ accept 队列满了

第 3 层：协议栈计数器

# 只显示自上次调用以来有变化的计数器 —— 这是它最好用的地方
nstat

# 显示全部（含为 0 的），配合 grep 用
nstat -az | grep -iE 'retrans|drop|listen|overflow|ecn'

# 按秒采样看趋势
sar -n DEV 1 5      # 每网卡的收发包与字节
sar -n ETCP 1 5     # TCP 重传与错误
sar -n SOCK 1 5     # socket 数量

# conntrack 是容器环境的高频嫌疑
conntrack -S             # 每 CPU 的 drop / insert_failed
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

insert_failed 或 drop 在涨 = conntrack 表撑不住，表现为新连接随机失败。

# 软中断侧：第 2 列 dropped，第 3 列 time_squeeze
cat /proc/net/softnet_stat

# 中断落在哪些 CPU 上
cat /proc/interrupts | grep -i mlx
mpstat -P ALL 1

第 4 层：抓包

带着假设抓，而不是抓完再想。

# 只抓这个对端这个端口，限 200 个包，落盘
tcpdump -i bond0 -nn -c 200 -w /tmp/a.pcap \
  'host 10.10.1.103 and tcp port 8080'

# 只看握手与异常包（SYN / FIN / RST）
tcpdump -i bond0 -nn 'tcp[tcpflags] & (tcp-syn|tcp-fin|tcp-rst) != 0'

# overlay 隧道流量（VXLAN 8472 / Geneve 6081）
tcpdump -i bond0 -nn 'udp port 8472 or udp port 6081'

# RoCEv2 流量
tcpdump -i bond0 -nn 'udp port 4791' -c 20

几条纪律：

• 一定要加过滤条件。生产机上 tcpdump -i any 能瞬间产生几 GB 文件并显著影响性能。
• 一定要限量：-c 限包数、-W/-C 做滚动切分。
• 落盘再分析：-w 存文件，用 Wireshark 慢慢看，不要在终端里肉眼滚屏。
• 只关心包头就加 -s 96，能大幅减小文件。

压测工具：选对了才有意义

# 服务端（注意 iperf2 默认端口是 5001，iperf3 是 5201）
iperf -s

# 客户端：8 条流，每 2 秒报一次，-e 打开增强统计（含重传、CPU 占用）
iperf -c 10.10.1.103 -P 8 -t 30 -i 2 -e

# 看 [SUM] 行，不要看单条流

# 服务端起 4 个实例
for p in 5201 5202 5203 5204; do iperf3 -s -p $p -D; done

# 客户端 4 个进程分别绑核
for i in 0 1 2 3; do
  taskset -c $((i+2)) iperf3 -c 10.10.1.103 -p $((5201+i)) -t 30 &
done; wait

60 秒网络体检清单

拿到一台陌生机器，按顺序敲：

ip -s link show                       # 1. 哪些网卡在用，有没有错误/丢弃
ethtool <dev> | grep Speed            # 2. 速率协商对不对
ethtool -S <dev> | grep -iE 'err|drop|missed|pause'   # 3. 网卡级异常
ss -s                                 # 4. 连接总量与状态分布
nstat                                 # 5. 自上次以来变化的计数器
cat /proc/net/softnet_stat            # 6. 软中断有没有丢包/预算耗尽
mpstat -P ALL 1 3                     # 7. %soft 是否集中在单核
ip route; ip neigh                    # 8. 路由与 ARP 是否正常

八条命令，一分钟。跑完还没有线索，才轮到抓包。

检查点

这节课的落点

• 固定顺序：接口 → 连接 → 协议栈 → 抓包，抓包永远放最后
• ethtool -S 三类关键词：missed/no_buffer（CPU 跟不上）、crc/frame（物理层）、pause/pfc（流控）
• ss -tim 看单连接，ss -lnt 看 accept 队列，ss -s 看全局分布
• nstat 只打印有变化的计数器，天然适合"清零 → 复现 → 再看"
• 抓包四要素：过滤、限量、只抓包头、落盘
• 压测选 iperf(2.x) 而不是老版 iperf3：多线程才吃得满 40G 以上的网卡
• 记住 60 秒体检的八条命令，比记住一百个参数有用