该研究考察大语言模型智能体能否借助以往尝试积累的持久记忆提升新任务表现,以及记忆设计是否影响这一收益。作者以程序化汉字绘制为任务,在五种智能体条件下对同一批668个项目进行测试。结果显示,尽管记忆库规模显著增长,累积记忆带来的总体提升有限:自由形式笔记使首次尝试成功率提高4.6个百分点,自由记忆与可复用代码相结合的设计提高2.8个百分点,两者整体差异不显著,但代码库在后期较难项目上表现出一定优势。另一项事后比较发现,当代码库智能体获得针对具体目标的结构性监督信息时,提升幅度明显更大,说明智能体能够利用高信息量的结构引导,但该特权信息无法说明仅凭经验学习能达到何种效果。研究据此认为,记忆设计可能影响累积经验在何处发挥作用,即便其平均收益并不突出。
| 持久记忆 (Persistent Memory) | 智能体在多次任务尝试中积累并保留的信息存储,用于后续问题求解。 |
| LLM智能体 (LLM Agent) | 基于大语言模型构建的、能够自主执行任务并与环境交互的智能系统。 |
| 程序化汉字绘制 (Programmatic Chinese-Character Drawing) | 通过编写程序代码来生成或绘制汉字字符的任务。 |
| 自由形式笔记 (Free-form Notes) | 智能体以非结构化自然语言形式记录的经验或观察。 |
| 代码库 (Code Bank) | 存储可重用代码片段以供智能体在后续任务中调用的记忆组件。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅