🔥 今日值得一读
长视频理解新突破：EMMA事件驱动记忆系统让检索更精准！
EMMA: Event-Driven Multimodal Memory System with Multi-Agent Retrieval
👨💼 主理人解读 · 为什么值得关注
长视频超出MLLM上下文时，可用事件分割+多Agent检索构建记忆，减少噪声提升问答。
📖 AI 总结
针对长视频理解中内容远超多模态大模型上下文窗口的难题，该研究指出既有方法将视频压缩为固定长度片段，导致事件被割裂、无关内容被合并，检索噪声较大。为此提出EMMA系统，以语义事件为核心组织记忆，分三阶段实现：采用双流检测器融合视觉语义漂移与语音转换自适应定位事件边界；构建原始视频、片段级记忆、事件级记忆的三级层次结构；通过多智能体框架经查询分解、分层搜索、证据验证与答案生成协同检索，将证据从粗粒度事件逐步收敛到精确片段。在三个挑战性基准上的实验表明该系统取得显著提升，验证了事件对齐记忆方案的有效性。
🔑 关键词速览
| EMMA | 事件驱动的多模态记忆系统，采用多智能体检索实现长视频理解。 |
| 多模态大语言模型 (MLLMs) | 能够处理文本、图像、视频等多种模态的大规模预训练语言模型。 |
| 事件分割 | 通过融合视觉语义漂移和语音转换自适应定位视频中事件边界的技术。 |
| 多智能体检索 | 多个智能体协作进行查询分解、分层搜索、证据验证和答案生成的检索框架。 |
| 三级层次记忆 | 存储原始视频、片段级记忆和事件级记忆的层次化结构，实现渐进式语义抽象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅