双解码器耦合密度与点,零样本计数误差创新低!
DualCount: Structurally Consistent Density and Point Modeling for Zero-Shot Object Counting
arXiv CV (cs.CV) 论文方法多模态 🕐 09-17 12:00

📖 AI 总结

本文提出DualCount,一种面向零样本目标计数的实例感知双解码器框架,旨在解决现有密度回归方法因质量分配缺乏约束而导致的空间模糊与背景泄漏问题。该方法不再将密度估计视为独立的逐像素回归,而是将其建模为潜在实例集合上的结构化质量分配:由预测的实例中心诱导密度图的软实例分解,并施加两项几何约束——单实例质量守恒(每个目标贡献约一个单位的密度质量)与质心对齐(各密度分量集中于对应预测中心)。这种实例级几何一致性提升了质量分配的准确性,从而降低计数误差。在FSC-147、PUCPR+和CARPK三个数据集上的实验表明,该方法持续降低计数误差,并在零样本目标计数任务上取得新的最优性能。

🔑 关键词速览

零样本目标计数无需针对特定类别进行训练,仅根据文本查询即可估计图像中目标数量的任务。
密度回归一种通过预测每个像素的密度值来估计目标数量的方法,通常对密度图求和得到总数。
双解码器框架一种包含两个解码分支的模型结构,分别生成密度图和点表示,并使其在结构上相互耦合。
质量守恒约束每个目标实例在密度图中贡献的总质量约等于1,以保证计数一致性。
质心对齐约束每个密度分量的质心与其对应的预测实例中心对齐,以增强空间一致性。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅