用认知诊断给LLM做技能体检，推理成本直降60%以上！
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
📖 AI 总结
该研究针对当前大模型评测通常将逐题表现聚合成单一标量分数、忽略基准数据所覆盖技能多样性的问题，提出SkillEval评测框架，开展跨模型、技能层面的分析。框架结合两方面：利用大模型的元认知能力从题目中自动发现可解释技能，并引入心理测量学中的认知诊断模型（CDM）估计模型在各技能上的能力。实验覆盖五个基准（MATH、BBH、GPQA、MuSR、IFEval）的9523道题和3811个模型，结果显示相比传统平均分评测，SkillEval生成的模型画像更可靠、校准更好、信息更丰富且简洁，对未见题目的行为预测更准确。下游应用中，用于LLM路由可在提升性能的同时降低60%以上推理成本，用于计算机自适应测试可高效评估新模型；技能画像还揭示了基准间技能共享及指令微调模型与基座模型的差异。
🔑 关键词速览
| SkillEval | 一种新的LLM评估框架，通过认知诊断模型进行跨模型、技能级别的分析。 |
| 认知诊断模型（CDM） | 心理测量学中的模型，用于估计个体在特定技能上的能力。 |
| LLM路由 | 动态地将每个查询分配给有能力但高效的模型，以降低推理成本。 |
| 计算机自适应测试（CAT） | 一种评估方法，使用训练好的模型高效地评估未见过的模型。 |
| 元认知能力 | LLM的自我认知和调控能力，用于自动发现可解释的技能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅