自适应VLM集成藏致命漏洞:最差路径覆盖仅0.623,SAGE-CP一举拉到0.887!
SAGE-CP: When Marginal Coverage Hides Route-Conditional Failures in Adaptive VLM Ensembles
arXiv LG (cs.LG) 重要 #共形预测#VLM集成#不确定性 🕐 今天 12:00

📖 AI 总结

该研究针对自适应视觉语言模型(VLM)集成中“提前退出”路由机制带来的覆盖性隐患展开分析。作者指出,单一 conformal 阈值虽能保证最终预测器的边际覆盖有效,但在各条计算路径上可能出现严重失效:若某路径的流行度为 π,边际 1-α 覆盖允许其条件覆盖降至 max{0, 1-α/π}。为此提出 SAGE-CP 流程,先在开发数据上学习路由器并冻结路由选择,再对提前退出与升级输入分别校准返回分数,校准步骤采用 Mondrian 分裂 conformal 预测。在 10 个基准、4 个冻结 VLM 和 5 个对齐划分上,全局校准与 SAGE-CP 均达到 0.900 边际覆盖,但路径表现差异显著:SAGE-CP 将平均最差路径覆盖从 0.623 提升至 0.887,路径覆盖差距从 0.324 降至 0.025,代价是平均预测集从 1.893 增至 2.212,仍小于全集成(2.486),且源调用减少 70.6%。该工作表明路由可节省计算,而按路径分层校准才能为路由产生的操作路径附加覆盖保证。

🔑 关键词速览

自适应VLM集成一种根据图像难度动态选择不同规模视觉语言模型进行推理的集成方法,以节省计算。
保形预测一种无分布假设的预测框架,能够为预测结果提供具有统计保证的覆盖概率。
边际覆盖在整个数据分布上平均而言,预测集包含真实标签的概率。
路径条件覆盖在给定计算路径(如提前退出或升级)的条件下,预测集包含真实标签的概率。
Mondrian分裂保形预测一种按类别或组别分别进行保形校准的方法,以实现组条件覆盖。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅