共3节 已有8人学过
主讲老师张旭波
更新时间2025-05-13 18:03:28
课件资料暂无
免费
minGPT 是GPT的 PyTorch 重新实现，包含训练和推理功能。minGPT 力求精简、简洁、可解释且具有教育意义，因为目前大多数 GPT 模型实现可能略显臃肿。GPT 并非一个复杂的模型，该实现大约有 300 行代码。其工作原理是将一系列索引输入到Transformer中，然后得出序列中下一个索引的概率分布。其复杂性主要体现在巧妙地进行批处理（跨样本和跨序列长度），以提高效率。重写的nanoGPT，从单纯的教育导向转向一个仍然简单易行但又有实际意义的东西（复现中等规模的行业基准，接受一些权衡以提高运行时效率等）——摘自开源项目。
CSDN: https://blog.csdn.net/Keep_Trying_Go/article/details/147870565?spm=1011.2124.3001.6209
作者介绍：个人主页：Andrej Karpathy 开源项目主页：https://github.com/karpathy
CSDN: https://blog.csdn.net/Keep_Trying_Go?spm=1001.2101.3001.10640 Github: https://github.com/KeepTryingTo?tab=repositories Bilibili: https://space.bilibili.com/625095571?spm_id_from=333.788.0.0
想真正看懂 GPT，而不只是调用 API？本课程以开源 MiniGPT（minGPT）为主线，用三个课时带你从源码走完小型 GPT 的完整闭环。第1课时从配置、加法数据集、模型结构讲到因果自注意力、权重加载与前向传播，理解 next-token 预测和损失掩码；第2课时深入训练、验证、模型保存与自回归生成，并完成加法 Demo 推理；第3课时扩展到字符级对话、排序和句子生成，展示同一生成式框架如何复用到不同任务，并引出 nanoGPT 与预训练模型加载。 适合有 Python/PyTorch 基础、想深入 Transformer/GPT 原理、希望动手复现和改造生成式模型的开发者与学习者。学完后，你将掌握加法任务如何转化为 token 预测，理解因果 mask、X/Y 错位、训练验证、top-k 采样、token 拼接与结果还原，并具备用 minGPT 搭建自定义生成任务的能力。
张旭波
CSDN: https://blog.csdn.net/Keep_Trying_Go?spm=1001.2101.3001.10640 Github: https://github.com/KeepTryingTo?tab=repositories Bilibili: https://space.bilibili.com/625095571?spm_id_from=333.788.0.0
给该课程打分：
发表
