🔥 今日值得一读
免训练！ReferGaussian用MLLM让4D高斯听懂复杂指代查询
R4DGS: Referring Segmentation in 4D Gaussian Splatting
👨💼 主理人解读 · 为什么值得关注
让开发者能用自然语言在动态4D场景中定位物体，适用于视频编辑与具身智能场景理解。
📖 AI 总结
该论文研究动态4D场景中的指代分割问题，提出R4DGS任务，要求模型根据自然语言描述在随时间变化的4D高斯场景中定位多目标、需推理或含干扰项、零目标的对象。现有4D高斯方法主要面向渲染，语义扩展多依赖场景特定优化，难以支持复杂语言指代。为此，作者构建了带结构化查询标注的基准R4D-Bench-QA，并提出统一框架ReferGaussian：将底层动态高斯组织为可语言寻址的持久实体库，利用多模态大语言模型把复杂查询分解为可跟踪的对象短语和结构化指代约束，实现无需场景特定语义优化的约束感知定位。在R4D-Bench-QA和4D LangSplat协议上的实验表明，该方法在时间目标选择上有所提升，并在无需场景特定语义训练的情况下取得有竞争力的时空定位表现。
🔑 关键词速览
| 4D Gaussian Splatting (4DGS) | 一种基于高斯泼溅的动态场景表示方法，能够对随时间变化的4D场景进行重建与渲染。 |
| Referring 4D Gaussian Splatting (R4DGS) | 本文提出的新任务，旨在动态4D场景中根据自然语言指代表达定位目标，包括多目标、推理密集和零目标等复杂查询。 |
| R4D-Bench-QA | 本文构建的基准数据集，包含结构化查询标注，用于评估动态4D场景中的指代分割任务。 |
| ReferGaussian | 本文提出的统一框架，将4D高斯实体转化为语言可寻址的实体，实现免训练的指代推理。 |
| Multimodal Large Language Models (MLLMs) | 多模态大语言模型，能够同时处理文本和视觉信息，用于将复杂查询分解为可跟踪的对象短语和结构化约束。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅