🔥 今日值得一读 长视频智能体记忆框架LVMH:准确率超SOTA 7.7个点,令牌省32倍、响应快91倍!
LVMH: A Meta-Optimization Harness for Long-Video Agent Memory
arXiv CV (cs.CV) 🔥 重点 #Agent#长视频理解#记忆机制 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
自动搜索长视频Agent的记忆策略,兼顾效果与token/延迟预算,可直接用于长视频问答系统搭建。

📖 AI 总结

该论文提出LVMH,一个面向长视频智能体记忆的自动化多智能体框架,将记忆策略开发转化为围绕固定答案模型的多目标代码搜索问题。为避免自我认证和开发集过拟合,LVMH将实现与独立评审分离,并设定受保护的观察边界;持久化元记忆记录过往提案、轨迹、成本与失败,以指导后续策略修订。通过该框架,作者发现“文本优先、视觉其次”的SEEM策略:基于紧凑的结构化事件记忆和证据专家作答,仅在必要时通过选择性视觉门控查阅局部帧。在EgoLifeQA上演化出的策略可泛化至未见基准,在Ego-R1 Bench和Video-MME(L)上均优于Meta-Harness。使用GPT-5时,SEEM在三个基准上平均准确率达65.7%,较此前最优提升7.7个百分点,同时平均评估token用量降低约32倍,平均响应时间缩短91倍。

🔑 关键词速览

LVMH长视频元记忆框架,一种自动化多智能体框架,将记忆策略开发形式化为多目标代码搜索。
SEEM自演化证据记忆,一种“文本优先、视觉其次”的记忆策略,从结构化事件记忆和证据专家中获取答案。
多目标代码搜索在固定答案模型下,同时优化多个目标(如性能与效率)的代码搜索方法。
持久元记忆记录过往提案、轨迹、成本和失败等信息,用于指导后续策略修订的长期记忆机制。
选择性视觉门控一种机制,仅在需要时通过门控选择性地查阅局部视频帧,以平衡效率与准确性。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅