集合通信原理主要介绍在 AI 集群或者大模型训练、推理的过程中,使用到的通信原理涉及相关知识,如什么是通信域、通信算法、集合通信原语的类型,除了集合通信的基本原理,还会介绍 AI 集群通信过程中相关的硬件介质,如片内互联、片外互联或者叫带内带外互联的方式方法。

【通信与存储】集合通信原理
共5节 已有3人学过
主讲老师ZOMI
更新时间2025-12-26 15:44:56
课件资料暂无
免费
加载中...
课程介绍
讲师介绍

ZOMI
暂无讲师简介
AI课程导读
本课程围绕AI集群与大模型训练中的集合通讯展开,从整体导论、XCCL架构、通信原语与并行策略映射,到PyTorch中的通信域、rank、stream/event及计算-通信重叠,最后延伸至片内多Die/Chiplet互联硬件。课程核心价值在于帮助学习者打通“硬件链路—通信库—通信算法—通信原语—上层框架”的全栈认知,理解NCCL/HCCL/XCCL在分布式训练中的关键位置,并掌握DP、PP、TP、EP、SP各自依赖的通信操作与性能优化思路。适合系统工程师、AI集群算法开发者、分布式训练框架研发者,以及关注集群效率与大模型训练性能的从业者。学完后,你将能建立集合通讯术语体系,读懂通信域、进程组与rank的关系,理解计算与通讯解耦/overlap机制,并能从通信原语和硬件拓扑角度分析训练瓶颈,为后续深入NCCL/HCCL源码、集群调优与并行策略设计打下基础。
AI课程大纲
ZOMI
老师简介
评价
给该课程打分:
发表
