🔥 今日值得一读
仅37%准确率！9045道题测出大模型致命短板
ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models
👨💼 主理人解读 · 为什么值得关注
可用来测试模型能否把多个事实组织成结构化列表，弥补现有基准只考单点事实检索的空白。
📖 AI 总结
现有事实知识评测几乎只关注单一答案检索，而现实中的许多问题需要模型回忆并组织多条事实。为此，研究者提出ListQA基准，包含9045道人工整理并交叉验证的问题（错误率1.7%），要求模型输出3至10个元素的结构化列表，涵盖从扁平列表到带子属性的层级列表，横跨8个类别、60多个国家，并通过时间约束或历史不变事实实现无需定期更新的常青设计。评测将元素匹配建模为线性求和分配问题，结合最优二分匹配与LLM语义评分，同时衡量事实准确性、幻觉和格式合规性。对34个模型的测试显示，最佳标准推理模型得分低于37%的LLM-Judge-F1，多面向问题普遍更难，而提供源维基百科页面可大幅提升得分，表明模型能组织事实却难以仅凭参数检索事实。
🔑 关键词速览
| ListQA | 一个用于评估大语言模型检索列表形式事实知识能力的基准数据集。 |
| 线性求和分配问题 | 一种组合优化问题，用于在评估中找到预测列表与真实列表之间的最优元素匹配。 |
| LLM-Judge-F1 | 使用大语言模型作为评判者计算出的F1分数，综合衡量事实准确性和格式合规性。 |
| 常青设计 | 基准设计策略，通过时间约束或不可变事实确保真实答案长期有效，无需更新。 |
| 思维启用推理 | 模型在生成答案前进行显式推理步骤的推理模式，通常能提升复杂任务表现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅