网络可观测性：指标、流日志与抓包

把"网络好不好"变成数字

前面所有课都在教怎么用命令查问题。但命令是被动的——你得先知道有问题才会去敲。 这一节讲怎么让问题主动找到你。

核心思路只有一句：每一层都有计数器，把它们变成时间序列，给关键的几个配告警。

分四层采集

和 L0 的排障顺序一致，监控也按这四层组织：

第一层：接口与链路

node_exporter 默认就采集了大部分，但网卡厂商特有的计数器要额外开：

# 这些是 ethtool -S 里的，默认不采集
node_exporter --collector.ethtool

必须监控的几个（L0 讲过它们的含义）：

第二层：协议栈

# nstat 的指标可以直接喂给采集器
nstat -az | grep -iE 'retrans|drop|listen|overflow|timeout'

# 重传率（这条值得直接抄）
rate(node_netstat_Tcp_RetransSegs[5m]) / rate(node_netstat_Tcp_OutSegs[5m]) > 0.001

# conntrack 水位
node_nf_conntrack_entries / node_nf_conntrack_entries_limit > 0.8

第三层：容器网络

这一层的特殊性在于很多丢包只在宿主机侧可见（L1 反复强调过）。

# Cilium 的指标端点
curl -s http://localhost:9962/metrics | grep -E 'drop|policy|forward'

流量可见性工具能补上"哪个 Pod 到哪个 Pod 被拒了"这种具体信息：

# 实时看被丢弃的流，带原因与身份
hubble observe --verdict DROPPED --last 50
hubble observe --from-pod default/frontend --to-pod default/api

# 拒绝速率突增（相对前一小时）
rate(cilium_drop_count_total{reason="Policy denied"}[5m])
  > 3 * rate(cilium_drop_count_total{reason="Policy denied"}[5m] offset 1h)

第四层：高性能网络

这一层的指标最容易被忽略，但它的故障全都是静默的—— 功能正常、只是变慢，业务侧要很久才发现。

# DCGM 提供 GPU 与 NVLink 的指标（生产用它而不是人工巡检）
# DCGM_FI_DEV_NVLINK_BANDWIDTH_TOTAL
# DCGM_FI_DEV_NVLINK_CRC_FLIT_ERROR_COUNT_TOTAL

# 每周跑一次，记录峰值 busbw
date +%F,$(kubectl logs <launcher> | awk '/Avg bus bandwidth/{print $NF}') \
  >> /var/log/busbw-baseline.csv

抓包工程化

抓包不能只靠人在故障时手工敲。间歇性问题需要提前部署、等它复现：

# 滚动抓包：每个文件 100MB，保留 10 个，自动覆盖
tcpdump -i bond0 -nn -s 96 -W 10 -C 100 -w /var/log/pcap/trace \
  'host 10.0.20.10 and tcp port 8080'

四条纪律（L0 讲过，这里是工程化版本）：

再加一条：抓包本身要有资源上限。生产机上跑无限制的 tcpdump 是自己制造故障——用 systemd 的 MemoryMax / CPUQuota 兜一下。

看板设计：三层结构

看板的价值在于排除的顺序，而不是把所有指标堆在一起：

第一屏：是不是网络的问题？
  ├─ 各层丢包总览（网卡 / 软中断 / 协议栈 / CNI）
  ├─ 重传率趋势
  └─ 关键服务的 P99 延迟

第二屏：在哪一层？
  ├─ 按节点的 rx_missed / softnet drop
  ├─ conntrack 水位
  └─ CNI 的 drop 分类（策略 / 转发 / 其它）

第三屏：高性能网络专项
  ├─ PFC / ECN 趋势
  ├─ 链路速率一致性（有几个口不等于预期）
  ├─ NVLink 链路数一致性
  └─ busbw 基线趋势

第一屏要能在 30 秒内回答"要不要继续查网络"。 很多"网络故障"其实是应用问题，第一屏就该把它排除掉。

告警清单

只列真正值得半夜叫人的：

检查点

这节课的落点

• 监控按 L0 的排障顺序分四层：接口链路 → 协议栈 → 容器网络 → 高性能网络
• 链路速率告警写"不等于预期"而不是"低于阈值"，降级常是对半的
• 协议栈必看：重传率 0.1% 警戒 / 1% 告警、TCPTimeouts、ListenOverflows、conntrack 水位
• 容器网络的丢包只在宿主机侧可见；策略拒绝要看变化率并关联变更时间
• 高性能网络的故障全是静默的：PFC、ECN、BER 缓慢恶化、NVLink 链路数
• busbw 基线是这一层最有价值的指标，做成定期任务 + 趋势图
• 抓包要工程化：过滤、-W/-C 滚动、-s 96、固定落盘 + 资源上限
• 看板三层结构，第一屏 30 秒回答"要不要继续查网络"
• 告警要分清叫人与记录：警戒线配成半夜告警，几周后就没人看了