高预测准确率竟藏概念恢复短板！成分级框架揭示大模型系统性过度指定属性
Beyond Prediction: A Component-Level Study of Concept Recovery in In-Context Learning
📖 AI 总结
该研究针对上下文学习（ICL）中“预测成功不等于概念掌握”的问题，提出组件级概念恢复框架，将概念拆解为定义性组件，并通过受控结构干预在可识别演示条件下评估组件级与整体概念恢复。作者在四种指令微调大模型和三种组合形式上实验，发现模型常在高预测准确率下整体概念恢复较差，并系统性地过度指定相关属性及其层级约束；单个结构组件通常不足以支撑整体概念恢复，而联合指定互补组件（尤其是相关属性及其层级约束）可显著提升恢复效果，但这种提升较为脆弱，一个看似合理但非必要的层级约束即可严重破坏恢复。研究还表明，对恢复与隐式预测进行联合监督能在保持预测性能的同时显著改善恢复，且所学能力可跨组合形式迁移。该工作提供了比整体视角更具诊断性的分析工具，有助于区分模型能力局限与演示歧义。
🔑 关键词速览
| In-Context Learning (ICL) | 上下文学习，指语言模型仅通过提示中的少量演示示例即可完成新任务，而无需更新参数。 |
| Concept Recovery | 概念恢复，指模型从演示中推断并重建出底层概念（而非仅拟合表面预测）的程度。 |
| Component-Level Framework | 成分级框架，将概念分解为定义性结构成分，以便细粒度评估模型恢复了哪些部分。 |
| Structural Interventions | 结构干预，指对演示中概念成分进行受控修改，以检验模型对特定成分的依赖与恢复情况。 |
| Over-specification | 过度指定，指模型在恢复概念时添加了超出必要范围的属性或约束，导致恢复不精确。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅