名词匹配碾压几何评分！ScanRefer召回率0.913对0.626
Token-Budgeted Candidate Retrieval for 3D Scene-Grounded VLMs: Category Names vs. Pairwise Geometry
📖 AI 总结
该研究探讨在固定上下文预算下，3D场景视觉语言模型应优先选取哪些物体与关系。作者在ScanNet室内指代基准上比较了多种候选检索策略，发现将查询与物体类别名称匹配的效果在每个召回率K值上均优于成对几何评分，且在高召回区间差距最大。实验涵盖ScanRefer及Nr3D、Sr3D的自定义划分，共35504条查询：加性名词匹配在ScanRefer上达到R@10 0.864，而确定性成对几何评分器QCRR仅为0.626；MiniLM与BGE-small表现更佳，在ScanRefer上达0.911至0.913，在Nr3D上达0.941至0.947。在修正后的3DGraphLLM测试框架中，上下文选择在匹配物体预算下显著影响下游准确率（随机0.44、QCRR 0.56、MiniLM 0.67、理想上限0.70）。结果表明语义检索优于人工设计的几何方法，作者将公开协议、检索器实现及逐查询输出以供后续研究替换新选择器。
🔑 关键词速览
| Token-Budgeted Candidate Retrieval | 在固定令牌预算下，从场景中检索最相关候选物体的过程。 |
| 3D Scene-Grounded VLM | 基于3D场景的视觉语言模型，能够理解3D环境中的物体和关系。 |
| QCRR (Query-Conditioned Relation Retrieval) | 一种确定性的成对几何评分器，根据查询条件检索物体间关系。 |
| ScanRefer | 一个基于ScanNet的3D指代基准数据集，用于评估模型在3D场景中定位物体的能力。 |
| R@10 | 召回率@10，衡量在前10个检索结果中正确目标出现的比例。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅