📖 AI 总结

文章介绍了循环Transformer架构在大模型领域的最新进展与挑战。GPT-6 Astra采用“循环深度”技术，通过让同一组Transformer层反复运行，以较少参数实现更深计算，引发业界关注。然而，该技术面临“计算冗余”问题——后续循环对状态更新的贡献递减，导致算力浪费。阿里团队早在11个月前便针对此问题发表两篇论文：MeSH通过引入动态存取的“记忆缓冲”和路由机制，解决循环间信息管理问题，实验显示在减少33%非嵌入参数的同时，零样本准确率反超普通Transformer；SpiralFormer则优化循环间的计算精度粒度。文章指出，循环架构被视为下一代高效大模型的候选路线，但需先克服计算冗余瓶颈，才能实现“以计算深度换参数规模”的潜力。