🔥 今日值得一读
单循环零损耗！ELR让语言模型循环加算力，准确率飙升不增本
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
📖 AI 总结
本文提出弹性潜在循环（ELR）训练方法，旨在解决循环语言模型长期存在的“单循环税”问题——即共享层块重复使用的模型在仅执行一次循环时，精度通常明显低于同等规模的非循环模型，导致对延迟敏感的场景不得不另选非循环模型。ELR通过三项设计消除这一差距：带学习步长的门控状态更新、在每次优化器更新中混合不同循环次数，以及让每次前向传播以其循环索引和预算为条件。前两项保证单循环精度不损失，第三项使每增加一次循环都能降低损失。混合深度可在预训练后期引入以控制训练成本，配合零初始化条件，其效果优于从头训练。在MoE模型中复用首循环专家路由可减少11.7%的更新耗时且精度无损；推理时仅保留末次循环的注意力KV缓存，可将显存维持在与单循环相当的水平。在4B稠密和30B-A3B混合专家模型上，ELR单循环精度与基线基本持平，四次循环分别带来7.25和4.75个百分点的提升。经后训练得到的Koi-4B单一检查点，单循环智能指数约18，四次循环达29。
🔑 关键词速览
| Elastic Latent Recurrence (ELR) | 一种训练循环语言模型的方法，使单次循环时性能不逊于非循环模型，且增加循环次数可提升准确率。 |
| One-loop tax | 循环语言模型在仅执行一次循环时，相比同等规模非循环模型所表现出的准确率损失。 |
| Gated state update with a learned step size | 一种状态更新机制，通过门控和可学习的步长来控制信息流动，以保持单循环准确率。 |
| Mixed depths | 在训练过程中混合使用不同的循环次数（深度），以平衡训练成本和模型性能。 |
| MoE (Mixture of Experts) | 混合专家模型，一种通过多个专家网络和路由机制来提升模型容量和效率的架构。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅