该研究关注个人智能体在长期交互中如何记忆并遵循用户的交互偏好,以减少重复提问、多余确认和不受欢迎的主动打扰。作者提出MemPABench交互式评测环境,设置需要智能体判断何时澄清、确认或自主行动的长程任务,由4个模拟用户在工作与个人场景中持有14项偏好,反馈覆盖4个月内99次会话,并通过每用户5次事件驱动变化检验记忆更新能力。研究评估4种记忆系统与4个LLM主干,发现现有记忆在偏好选择上收益有限:基于检索的系统(Mem0、MemOS、简单RAG)未优于无记忆基线,基于文件的记忆虽提升准确率却会把偏好应用到不相关情境。分析表明,当前记忆难以检索交互偏好并适应其变化,即使偏好可得,覆盖智能体默认交互习惯仍很困难。
| MemPABench | 本文提出的交互式基准环境,用于在策略评估个人智能体对交互偏好的记忆能力。 |
| 交互偏好 | 用户希望智能体以何种方式协助自己的习惯性要求,如何时澄清、确认或自主行动。 |
| 在策略评估 | 让智能体在交互环境中实际执行任务并接受评估,而非仅基于静态数据集离线评测。 |
| 长时程任务 | 需要智能体在较长时间跨度和多轮交互中保持记忆并做出连贯决策的任务。 |
| 基于检索的记忆系统 | 通过检索外部存储的相关信息来增强智能体记忆的方法,如 Mem0、MemOS 和简单 RAG。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅