NCCL 集合通信调优手册

常用原语

AllReduce、AllGather、ReduceScatter 分别对应梯度同步、参数收集与梯度分片场景，选择取决于并行策略。

算法选择

• Ring：带宽利用率稳定，适合大规模节点
• Tree：小消息延迟更低
• 结合网络拓扑与消息大小交叉验证

调优观察指标

关注总线带宽、算法带宽与通信耗时占比，结合 GPU 利用率判断瓶颈在通信还是计算。