视频知识写入模型，MIT³让长视频问答无需视频仅靠文本，合成样本远少于先前方法！
Memory Internalization via Test-Time Training for Long-Video Understanding
📖 AI 总结
该论文针对长视频理解中证据分散于长时间跨度、传统视频语言模型需对每个问题重复编码或检索的问题，提出一种名为MIT³的逐视频测试时训练框架。其核心思路是将每段长视频“写入”紧凑的视频专属自适应参数，从而支持无需视频、仅凭文本的问题回答。方法上，作者通过因果追踪衡量各模型层对视频问答的因果记忆效用，以确定视频专属的适配位置，并借助多尺度监督下的视觉记忆蒸馏，使纯文本记忆复现相关视频片段引发的表征变化，从而在文本监督之外保留视觉证据的内部影响。在LVBench、LongVideoBench和Video-MME三个基准上，该方法以显著少于既有参数化视频记忆方法的合成样本量，实现了数据高效的无视频问答，表明有效的视频内化既取决于知识写入的位置，也取决于视觉证据的蒸馏方式。
🔑 关键词速览
| Test-Time Training (测试时训练) | 在测试阶段针对每个输入样本进行模型参数适配的训练范式，而非仅在训练集上预训练。 |
| Parameterized Video Memory (参数化视频记忆) | 将视频知识编码为模型参数（如适配器权重）而非外部存储的记忆形式，实现一次写入多次使用。 |
| Causal Tracing (因果追踪) | 一种通过干预模型内部状态来定位对特定输出有因果影响的层或组件的方法。 |
| Visual Memory Distillation (视觉记忆蒸馏) | 训练文本记忆模型模仿视觉编码器对相关视频片段的表示变化，以保留视觉信息。 |
| Video-Free Question Answering (无需视频问答) | 在推理时仅使用文本问题和已内化的参数化记忆，而不需要访问原始视频的问答方式。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅