🔥 今日值得一读 记忆直接焊进Transformer!MemT 1.0补上RSI关键拼图
RSI三块关键拼图,MemT 1.0从模型层补上「记忆」
量子位 🔥 重点 论文方法大模型Agent 🕐 10-20 20:50

📖 AI 总结

文章围绕AI自我改进(RSI)中“记忆”这一基础环节展开,介绍了记忆张量团队开源的MemT 1.0系列模型。其核心思路是“记忆原生”:不再外接经验库,而是把经验编码为模型内部可学习的动态状态,通过并行于注意力的记忆分支完成写入、更新与读取。该系列包含36B参数(激活3B)的Nano和288B参数(激活17B)的Flash两个型号,是记忆原生模型首次实现近300B参数规模的工程验证。在SWE-bench Verified的500项任务中,Nano关键断点平均成功率为69.73%,三次全成功率从无经验基线的54.00%提升至62.80%;在11项记忆基准综合评估中,Flash和Nano以50.6和47.0的平均分位列参数化记忆方法前两名。文章认为,这一路径在平均成功率和重复执行可靠性上已能与显式文本经验比肩,为记忆参与模型持续改进提供了新的工程方向。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅