选型对比：IB、RoCE 与 Spectrum-X

这道题的答案不在性能上

对比 IB 与 RoCE，很多人第一反应是查带宽和延迟数字。但同代产品的差距很小—— 400G NDR IB 和 400G RoCE 的峰值带宽基本一样，延迟差异在一两微秒量级。

真正的差异在三个地方：谁来保证无损、谁来运维、以及出问题时多久能定位。

三种方案

	InfiniBand	RoCEv2	Spectrum-X
底层	自有二三层	UDP over IP	以太网 + 增强
无损来自	链路层 credit，网络自带	PFC + ECN，人工配置	以太网 + 自适应路由与拥塞控制
管理平面	SM + UFM（必需）	交换机各自配置	集中管理 + 端网协同
排障工具	ibstat/ibdiagnet/perfquery 一整套	以太网工具 + 网卡计数器	厂商工具链
生态	相对封闭	通用以太网生态	厂商方案
团队门槛	要懂 IB 那套体系	要有人能长期调 PFC/ECN	中

三者的定位可以一句话概括：

• IB：把无损做进了架构，你不用管，但要接受一套独立体系
• RoCE：复用以太网生态，代价是无损要靠人配，配错比不配还糟
• Spectrum-X：想在以太网上拿到接近 IB 的确定性，靠端网协同（网卡 + 交换机 + 插件配套）

关键差异一：无损谁负责

这是最本质的一条，直接决定运维成本。

IB：   接收方声明 credit → 发送方绝不超发 → 硬件层面不丢包
       你要做的：什么都不用做

RoCE： 交换机队列涨到阈值 → ECN 标记让发送端降速（主力）
                          → PFC 反压兜底（最后防线）
       你要做的：DSCP/PCP 映射端到端一致、ECN 水位低于 PFC 阈值、
                主机侧 mlnx_qos、NCCL_IB_TC……每一跳都要对

RoCE 那节 讲过后果：任何一跳映射错，RDMA 流量掉进普通队列， 拥塞时被丢，而 RDMA 的 go-back-N 会让带宽雪崩。

关键差异二：管理平面

	IB	RoCE
是否需要集中管理实体	必需（SM）	不需要
挂了会怎样	现有流量继续，拓扑一变就出事	无此单点
额外资源	UFM 节点 + 机位 + 线缆	无

IB 的 SM 是一个必须规划的组件：要配主备、要留机位 （SuperPOD 参考架构 里一个 SU 空出一台机位给 UFM 就是这个原因）。

RoCE 没有这个单点，但代价是没有一个地方能看到全网视图—— 你得自己拼监控（InfiniBand 那节 讲的 ibdiagnet 那种一键体检， RoCE 侧没有直接对应物）。

关键差异三：Spectrum-X 想解决什么

以太网做 AllReduce 的固有弱点是静态哈希导致的链路不均：多条流哈希到同一条 spine 链路， 其它链路闲着。IB 用自适应路由解决，Spectrum-X 把这套能力搬到以太网上。

从实践中的 NCCL 配置能看出它是端网协同的方案：

NCCL_NET_PLUGIN=spcx                 # 专用网络插件
NCCL_IB_ADAPTIVE_ROUTING=1           # 启用自适应路由
NCCL_NCHANNELS_PER_NET_PEER=4
NCCL_IB_PORT_SPEED=800000
NCCL_MIN_NCHANNELS=32

含义是：交换机、网卡、通信库要配套。所以它的取舍是：

收益	代价
以太网生态 + 接近 IB 的确定性	绑定厂商的端到端方案
不需要另学 IB 体系	换任一环节都可能失效
自适应路由改善尾延迟	配置项更多、依赖插件版本

决策：三个问题

不用列二十项对比。按顺序回答三个问题就能定：

① 团队里有人能长期维护 PFC/ECN 配置吗？
     没有 → IB
     有   → 继续

② 已有的网络运维体系是以太网的吗？（监控、备件、值班、供应商）
     是   → RoCE 或 Spectrum-X（复用体系的价值很大）
     不是 → IB

③ 规模多大？对尾延迟敏感吗？
     大规模 + 尾延迟敏感 → IB 或 Spectrum-X
     中小规模、能接受调优 → RoCE

常见场景的落点

场景	建议	理由
几十台 GPU、团队以 K8s/以太网为主	RoCE	复用现有体系，规模不大调优可控
上百台、要确定性、有专职网络团队	IB	无损自带、工具链成熟
大规模但坚持以太网路线	Spectrum-X	端网协同拿确定性
存储网单独一套	跟计算网一致	少一套体系就少一套运维
混合负载（训练 + 推理 + 业务）	计算网独立，业务网普通以太网	别试图一张网满足所有需求

无论选哪个，验收标准一样

这是本阶段最重要的一句话：选型不同，验收标准相同。

# 1. 链路层：速率与状态（IB 用 ibstat，RoCE 用 ethtool + ibstat）
ibstat | grep -E 'State|Rate'

# 2. 点对点带宽 ≥ 理论线速 90%
ib_send_bw -x 3 -d mlx5_0 -F --report_gbits <peer>

# 3. 点对点延迟：同机房个位数微秒，看 P99
ib_write_lat -x 3 -d mlx5_0 -F <peer>

# 4. RoCE 专项：压力下 PFC 帧不应持续暴涨
watch -n2 "ethtool -S bond0 | grep -i pause"

# 5. IB 专项：全网体检无错误
ibdiagnet -r

# 6. 集群 busbw ≥ 理论峰值 90%   ← 最终指标

第 6 条是唯一能一次性覆盖布线、拓扑、配置与拥塞控制的端到端指标 （NCCL 那节 讲过）。把它写进合同或验收单， 比争论技术路线更有价值。

检查点

Checkpoint单选

同代 400G 的 IB 与 RoCE，选型的决定性因素通常是什么？

• A团队有没有人能长期维护 PFC/ECN 配置 —— 无损由谁负责是本质差异
• B峰值带宽
• C延迟数字
• D哪家品牌更知名

提交

Checkpoint单选

选 IB 时，规划上必须额外考虑什么？

• A子网管理器：要配主备，UFM 还要占机位与线缆
• BPFC 与 ECN 的水位配置
• CDSCP 到无损队列的映射
• D交换机的 BGP 配置

提交

Checkpoint单选

关于三种方案的验收，正确的说法是？

• A选型不同但验收标准相同，最终都看集群 busbw ≥ 理论峰值 90%
• BIB 不需要测 busbw，因为它天生无损
• CRoCE 只要 PFC 计数为 0 就算通过
• DSpectrum-X 有专用插件所以不用验收

提交

这节课的落点

• 同代产品峰值带宽与延迟差异不大，选型的决定因素不在性能
• 三个本质差异：无损谁负责、管理平面、出问题多久能定位
• IB 的无损来自链路层 credit（网络自带），RoCE 要人工配 PFC/ECN（配错比不配还糟）
• RoCE 的隐性成本是人：初次调优、每次变更复核映射、跨主机与交换机定位
• IB 必须规划 SM 主备与 UFM 机位；RoCE 没这个单点但也没有全网视图工具
• Spectrum-X 是端网协同方案：以太网生态 + 接近 IB 的确定性，代价是绑定整套配套
• 决策三问：有人能维护 PFC/ECN 吗 → 现有体系是以太网吗 → 规模与尾延迟要求
• 存储网与计算网尽量同一种技术，少一套体系就少一套运维
• 无论选哪个，验收标准相同，最终看 busbw ≥ 理论峰值 90%