MPI 是集合通信库的鼻祖,英伟达 NVIDIA 大量的参考和借鉴 MPI 通信库相关的内容从而提出了业界集合通信库的标杆 NCCL。本将会从 MPI 开始,介绍业界的各种主流集合通信库的变种 XCCL。然后深入地剖析 NCCL 相关的实现算法、对外 API 等,最后还会介绍华为开源的 HCCL 集合通信库。da'mo'xing

【通信与存储】集合通信库
共9节 已有3人学过
主讲老师ZOMI
更新时间2025-12-26 15:44:58
课件资料暂无
免费
加载中...
课程介绍
讲师介绍

ZOMI
暂无讲师简介
AI课程导读
这是一门面向大模型时代的集合通信库系统课。课程从 MPI 通信基础出发,串联 XCCL 生态、NCCL、HCCL 及 TCCL、oneCCL、RCCL、Gloo 等主流库,深入讲解点对点与集合通信、通信域与 rank、NCCL 初始化与 API、LL/LL128/Simple 协议、拓扑感知建图、PXN、Double Binary Tree、HCCL 架构与通信算法开发,并以 Hockney、LogP、LogGP 等模型收束,帮助你建立从原理到性能优化的完整知识框架。适合 AI Infra、分布式训练、高性能计算、系统软件与芯片/网络方向的工程师、研究者和学生。学完后,你将理解 AllReduce、Broadcast、Gather、All-to-All 等通信模式,掌握 NCCL/HCCL 的关键机制与选型逻辑,能够分析带宽、时延、拓扑与算法瓶颈,并为自研或优化集合通信库打下坚实基础。
AI课程大纲
ZOMI
老师简介
评价
给该课程打分:
发表
