课程封面

【大模型推理】大模型推理框架

共3节 已有3人学过

主讲老师ZOMI

更新时间2025-12-26 15:45:00

课件资料暂无

免费

加载中...

课程介绍

大模型推理引擎相关技术主要包括vLLM、SG-Lang、Mooncake等。这些引擎通过优化内存管理、计算效率和并行计算能力,提升了大模型的推理速度和吞吐量。重点以 vLLM 作为例子,深入地介绍大模型推理框架的底层细节和逻辑架构。

讲师介绍

讲师头像

ZOMI

暂无讲师简介

AI课程导读

如果你想系统理解大模型推理框架,却苦于知识点零散、框架繁多,这门三课时导论课会帮你快速建立全景认知。课程不纠缠复杂算法,而是从整体知识地图出发,讲清推理框架、推理引擎与推理服务的边界,梳理 Prefill/Decode、KV Cache、Continuous Batching、PD 分离、量化与长序列等核心专题,并解释为什么 Prefill 偏算力、Decode 偏显存和带宽。随后横向对比 vLLM、SGLang、LMDeploy、TGI、TensorRT-LLM、MindIE 等主流方案,围绕高吞吐与低延迟的权衡给出选型思路。适合 AI 工程师、算法/平台/后端开发者,以及准备做推理部署、性能优化或框架二次开发的技术人员。学完后,你能看懂 LLM 推理全流程,掌握 KV Cache 与性能瓶颈,理解主流框架优劣,并具备初步选型能力,为后续深入 vLLM、PagedAttention、调度优化等打下基础。

AI课程大纲

ZOMI

老师简介

评价

给该课程打分:

发表