🔥 今日值得一读
TurboMamba训练提速4.82倍，预测损失比Mamba-3低9.4%！
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
👨💼 主理人解读 · 为什么值得关注
想同时加速训练推理并提升token预测，可参考该Mamba+局部Transformer混合架构与词法记忆技巧。
📖 AI 总结
TurboMamba是一种面向语言建模的新架构，旨在同时提升推理速度、训练效率和预测精度。其核心设计是让全局Mamba-3模型在每个完整token块上运行一次，再由一个小型Transformer结合该全局上下文与块内已有token来预测下一个token，并通过三项轻量改进增强局部预测：直接访问前一块的末位token、对下一token得分进行小幅修正，以及与近期token频率的学习式混合。研究在公开数据集FineWeb-Edu上对比了十二种小规模实现，涵盖Transformer、Mamba-3、Jamba和Zamba等基线。结果显示，TurboMamba取得最低的平均测试预测损失，较Mamba-3低9.4%，较Jamba版本低7.3%，较Zamba版本低18.3%；端到端训练吞吐量分别达到三者的2.60倍、2.81倍和4.82倍；在32条序列、256token提示加128token生成的批处理负载下，推理延迟分别加速3.12倍、3.53倍和6.21倍。该工作表明，将全局状态空间模型与局部注意力机制结合，可在不增加参数量的前提下同步优化速度与质量。
🔑 关键词速览
| TurboMamba | 本文提出的语言模型架构，结合全局 Mamba-3 与局部 Transformer 以实现更快推理、训练和更好预测。 |
| Mamba-3 | 一种基于状态空间模型的高效序列建模架构，作为 TurboMamba 的全局上下文模块。 |
| Jamba | 一种混合 Transformer 和 Mamba 的语言模型架构，本文将其 Mamba 模块替换为 Mamba-3 作为基线。 |
| Zamba | 另一种混合 Transformer 和 Mamba 的语言模型架构，本文同样将其 Mamba 模块替换为 Mamba-3 作为基线。 |
| 负对数似然 (NLL) | 衡量语言模型预测概率分布与真实词元匹配程度的损失函数，值越低表示预测越准确。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅