🔥 今日值得一读
不用坐标也能用图像思考！新方法TiCO推理效率碾压坐标法
Thinking with Images without Coordinates
👨💼 主理人解读 · 为什么值得关注
开发者可借此提升多模态模型视觉推理忠实度，摆脱坐标依赖。
📖 AI 总结
该论文针对多模态大模型“以图像思考”范式中普遍依赖显式坐标定位的问题，指出其存在两重根本局限：一是语义鸿沟，稀疏回归难以捕捉高维潜在结构；二是分辨率鸿沟，图像块级词元与像素级坐标之间存在粒度错配。为此，作者提出TiCO方法，将视觉推理重构为潜在空间中的语义证据发现过程，通过专用探针词元估计相似度分布，并对空间连通分量进行重要性采样，生成多样且语义主导的证据展开，以词元级区域形式注入证据而无需像素坐标。在多个高分辨率及通用视觉推理基准上，TiCO持续优于现有基于坐标的最先进方法，并显著提升推理效率。该工作为摆脱坐标依赖的视觉推理提供了新思路。
🔑 关键词速览
| Thinking with Images | 一种让多模态大模型在推理过程中直接操作和利用图像信息的范式，以增强推理的忠实性。 |
| Coordinate-based Grounding | 通过预测像素级坐标来定位图像中与文本相关的区域或对象的方法。 |
| Semantic Gap | 稀疏的坐标回归无法捕捉高维潜在语义结构，导致语义信息丢失的问题。 |
| Resolution Gap | 视觉标记的块级粒度与像素级坐标之间的不匹配，造成定位精度与语义理解之间的冲突。 |
| Probe Token | TiCO中引入的一个专用标记，用于估计图像区域与文本之间的相似度分布，以发现语义证据。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅