课程封面

【大模型算法】MoE 架构

共14节 已有4人学过

主讲老师ZOMI

更新时间2025-12-30 18:22:38

课件资料暂无

免费

加载中...

课程介绍


讲师介绍

讲师头像

ZOMI

暂无讲师简介

AI课程导读

这门课用14个课时带你从零吃透混合专家MoE:从基本概念与前世今生,到1991年奠基论文、稀疏门控、GShard、Switch Transformer、ST-MoE、GLaM,再到DeepSeekMoE、Mixtral、Grok等热门模型;既讲清门控路由、Top-k、专家容量、负载均衡、辅助损失、共享/细粒度专家等核心机制,也手把手在昇腾NPU上实现单机单卡与8卡专家并行MoE,并延伸V-MoE、Soft MoE与可视化原理。它适合大模型研究者、算法工程师、AI Infra/系统工程师,以及想读懂MoE论文、掌握分布式训练和推理优化的学生。学完后,你将能解释MoE为何降本增效、读懂主流MoE架构差异、分析专家负载与通信瓶颈,并具备从论文到代码落地的完整认知。

AI课程大纲

ZOMI

老师简介

评价

给该课程打分:

发表