课程封面

【通信与存储】集合通信原理

共5节 已有3人学过

主讲老师ZOMI

更新时间2025-12-26 15:44:56

课件资料暂无

免费

加载中...

课程介绍

集合通信原理主要介绍在 AI 集群或者大模型训练、推理的过程中,使用到的通信原理涉及相关知识,如什么是通信域、通信算法、集合通信原语的类型,除了集合通信的基本原理,还会介绍 AI 集群通信过程中相关的硬件介质,如片内互联、片外互联或者叫带内带外互联的方式方法。

PPT免费开源在:https://github.com/chenzomi12/AISystem

讲师介绍

讲师头像

ZOMI

暂无讲师简介

AI课程导读

本课程围绕AI集群与大模型训练中的集合通讯展开,从整体导论、XCCL架构、通信原语与并行策略映射,到PyTorch中的通信域、rank、stream/event及计算-通信重叠,最后延伸至片内多Die/Chiplet互联硬件。课程核心价值在于帮助学习者打通“硬件链路—通信库—通信算法—通信原语—上层框架”的全栈认知,理解NCCL/HCCL/XCCL在分布式训练中的关键位置,并掌握DP、PP、TP、EP、SP各自依赖的通信操作与性能优化思路。适合系统工程师、AI集群算法开发者、分布式训练框架研发者,以及关注集群效率与大模型训练性能的从业者。学完后,你将能建立集合通讯术语体系,读懂通信域、进程组与rank的关系,理解计算与通讯解耦/overlap机制,并能从通信原语和硬件拓扑角度分析训练瓶颈,为后续深入NCCL/HCCL源码、集群调优与并行策略设计打下基础。

AI课程大纲

ZOMI

老师简介

评价

给该课程打分:

发表