课程封面

【通信与存储】集合通信库

共9节 已有3人学过

主讲老师ZOMI

更新时间2025-12-26 15:44:58

课件资料暂无

免费

加载中...

课程介绍

MPI 是集合通信库的鼻祖,英伟达 NVIDIA 大量的参考和借鉴 MPI 通信库相关的内容从而提出了业界集合通信库的标杆 NCCL。本将会从 MPI 开始,介绍业界的各种主流集合通信库的变种 XCCL。然后深入地剖析 NCCL 相关的实现算法、对外 API 等,最后还会介绍华为开源的 HCCL 集合通信库。da'mo'xing

讲师介绍

讲师头像

ZOMI

暂无讲师简介

AI课程导读

这是一门面向大模型时代的集合通信库系统课。课程从 MPI 通信基础出发,串联 XCCL 生态、NCCL、HCCL 及 TCCL、oneCCL、RCCL、Gloo 等主流库,深入讲解点对点与集合通信、通信域与 rank、NCCL 初始化与 API、LL/LL128/Simple 协议、拓扑感知建图、PXN、Double Binary Tree、HCCL 架构与通信算法开发,并以 Hockney、LogP、LogGP 等模型收束,帮助你建立从原理到性能优化的完整知识框架。适合 AI Infra、分布式训练、高性能计算、系统软件与芯片/网络方向的工程师、研究者和学生。学完后,你将理解 AllReduce、Broadcast、Gather、All-to-All 等通信模式,掌握 NCCL/HCCL 的关键机制与选型逻辑,能够分析带宽、时延、拓扑与算法瓶颈,并为自研或优化集合通信库打下坚实基础。

AI课程大纲

ZOMI

老师简介

评价

给该课程打分:

发表