原理深入预计 30 分钟
GPUDirect RDMA 与 GPUDirect Storage
让网卡直接读写显存,把 CPU 和主存彻底从数据路径上摘掉。
学完这节你能做到
- 画出开启与未开启 GPUDirect RDMA 时的数据路径差异
- 列出生效的前提条件(驱动、PCIe 拓扑、ACS)
- 验证 GPUDirect 是否真的生效
建议先学跳过这几节会看不懂本节的部分推导
正文待编写以下是本节已定稿的小节大纲
- 1未开启时的路径:显存 → 主存 → 网卡
- 2开启后的路径:网卡 ↔ 显存直通
- 3前提:nvidia-peermem、PCIe 同 switch、ACS 关闭
- 4PCIe 拓扑与 NIC-GPU 亲和
- 5GPUDirect Storage:NVMe 直读显存
- 6验证方法与常见失效原因
延伸资料
- ·DGX SuperPOD H200 参考架构 ↗
- ·k8s-in-action
network/network-operator/README.md