这篇论文研究语言模型智能体在支撑其推导事实的文档被撤销或替换时,应当修复记忆还是重新阅读当前证据。作者基于公共ICU记录中的用药与问题清单任务,构建了证据修订评测,在撤销、替换和控制三类事件下,比较完整重读、来源过滤重读与缓存、重建、图局部修复等记忆方案,并纳入摄取、修订和每次使用的全部成本。结果显示,在短记录上局部修复的修订token消耗比重建少5至10倍,但所有记忆流程的成本至少是完整重读的两倍;在约一万token的长记录上,记忆的平均累计成本在使用2至14次后低于完整重读,部分源于抽取截断,而来源过滤重读始终最经济。替换研究中四项主要验证测试均未达统计显著。研究强调,评估证据修订后的智能体记忆成本,必须与来源过滤重读在全流程层面进行比较。
| evidence revision | 证据修订,指当支持智能体事实的文档被撤销或替换时,更新或调整记忆的过程。 |
| memory repair | 记忆修复,指智能体在证据变化后,通过局部调整或重建来更新其内部记忆表示的方法。 |
| re-reading | 重读,指智能体重新阅读当前证据文档以获取最新信息,而非依赖已存储的记忆。 |
| source-filtered re-reading | 源过滤重读,一种重读策略,仅阅读与任务相关的源文档,过滤掉不相关或不合格的文档。 |
| graph-local repair | 图局部修复,一种记忆修复方法,仅在知识图谱的局部区域进行更新,而非全局重建。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅