如果你想理解大模型架构为何正在挑战 Transformer 的垄断，这门课将带你从 Attention 的 O(N²) 瓶颈出发，建立通往 RWKV 与 Mamba 的完整学习地图。课程先回顾 QKV、多头注意力和 Softmax，解释长序列下算力与内存为何昂贵；再深入 Linear Attention 与 AFT，看核函数替换 Softmax、结合律加速、位置偏置和逐元素计算如何把复杂度降到线性，并为 RWKV 铺路。随后展开两条主线：RWKV 的 WKV、Time/Channel Mixing 与 Token Shift，Mamba 的 SSM/S4、选择性机制、并行选择性扫描和硬件感知优化，并讨论 Mamba 1/2 演进及替代 Transformer 的可能。适合已了解 Transformer 基础、希望深入大模型算法、线性注意力、新架构研究与端侧部署的开发者、工程师和研究者。学完后，你不仅能看懂新架构的设计动机，也能评估其性能、成本与应用潜力，形成继续精读论文和动手实践的清晰路线。