原理深入预计 30 分钟
MPI 与集合通信：谁在真正搬数据
MPI 在 AI 训练里常常只是个启动器，真正的通信由 NCCL 完成。搞清分工才能调对。
学完这节你能做到
- 说清 MPI 与 NCCL 在 AI 训练里的分工
- 看懂 mpirun 常用参数对性能的影响
- 排查 hcoll 与 NCCL 冲突这类初始化失败
建议先学跳过这几节会看不懂本节的部分推导
正文待编写以下是本节已定稿的小节大纲
- 1MPI 基础：rank、communicator、集合操作
- 2OpenMPI 与 UCX 的分层
- 3mpirun 关键参数：-np、-bind-to、-x
- 4MPI 只做启动器的场景
- 5hcoll 与 NCCL 抢同一条路的典型报错
- 6与 Kubeflow Trainer / MPIJob 的结合
延伸资料
- ·k8s-in-action
ai/nccl-tests/config-reference.md