冻结模型组合少样本3D分割：保留全分布语义，IoU从28.47飙至34.87！
Beyond Argmax: A Mechanistic Study of Semantic Retention in Frozen Foundation-Model Composition for Generalized Few-Shot 3D Segmentation
📖 AI 总结
本文研究在广义少样本三维分割任务中，将多个独立预训练且权重冻结的基础模型在推理阶段组合时，过早将异构证据压缩为单一类别会造成怎样的语义信息损失。作者提出一种同输入语义保留干预方法，固定Dense RegionPLC与稀疏跨视角SAM3的模型权重、掩码、几何、词表和融合规则，仅通过匹配的top-k阶梯改变交互前保留的语义候选数量。在156个ScanNet200留出场景上，top-1取得28.47的调和平均IoU，而全分布融合达到34.87，提升6.40；在50个ScanNet++场景上同样复现，由23.02提升至26.50。结论具有稳健性：全分布结果在稀疏源权重0.3至0.7区间保持稳定，max与几何池化等替代算子也优于top-1，源替换诊断显示保留完整分布时性能单调上升。校准分析发现两个来源存在方向相反的失校准，但校正校准并不能消除保留优势。该工作将过早语义坍缩诊断为异构冻结模型组合中可复现的信息瓶颈，并表明保留一小组合理候选即可恢复大部分信息。
🔑 关键词速览
| Generalized Few-Shot 3D Segmentation | 广义少样本三维分割：在三维点云中，模型需同时分割基类和新类，且新类仅有少量标注样本。 |
| Frozen Foundation-Model Composition | 冻结基础模型组合：将多个预训练且权重固定的基础模型在推理时组合，不进行微调。 |
| Semantic Retention | 语义保留：在模型交互前保留多个语义备选（而非仅保留最高分）以保留更多信息。 |
| Harmonic-Mean (HM) IoU | 调和平均IoU：一种综合评价指标，调和平均基类和新类的交并比，平衡两者性能。 |
| Top-k Ladder | top-k阶梯：一种实验设计，通过改变保留的top-k备选数量来系统研究语义保留的影响。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅