
【大模型算法】MoE 架构
共14节 已有4人学过
主讲老师ZOMI
更新时间2025-12-30 18:22:38
课件资料暂无
免费
加载中...
课程介绍
讲师介绍

ZOMI
暂无讲师简介
AI课程导读
这门课用14个课时带你从零吃透混合专家MoE:从基本概念与前世今生,到1991年奠基论文、稀疏门控、GShard、Switch Transformer、ST-MoE、GLaM,再到DeepSeekMoE、Mixtral、Grok等热门模型;既讲清门控路由、Top-k、专家容量、负载均衡、辅助损失、共享/细粒度专家等核心机制,也手把手在昇腾NPU上实现单机单卡与8卡专家并行MoE,并延伸V-MoE、Soft MoE与可视化原理。它适合大模型研究者、算法工程师、AI Infra/系统工程师,以及想读懂MoE论文、掌握分布式训练和推理优化的学生。学完后,你将能解释MoE为何降本增效、读懂主流MoE架构差异、分析专家负载与通信瓶颈,并具备从论文到代码落地的完整认知。
AI课程大纲
ZOMI
老师简介
评价
给该课程打分:
发表
