15万事件基准揭示：LLM预测能力被严重低估，接口设计对了就能超越专用模型！
Can LLMs Access their World Knowledge for Event Prediction?
📖 AI 总结
这篇论文探讨了大语言模型能否将其预训练世界知识用于时间事件预测。针对现有研究中LLM常不如简单专用模型的现象，作者提出这并非知识不可及，而是接口设计问题。他们主张围绕两个关键选择设计接口：用自然语言描述为每个事件提供语境，并将事件语义与预测空间分离以避免标签关联带来的语义偏差。为此，研究者构建了DescribeEvent基准，涵盖七个数据集、六个领域约15万个事件，并配有事件级描述。实验发现，能力较强的LLM能从描述和符号标签中显著获益，超越无描述变体及非LLM基线，而较弱模型提升有限。这表明LLM世界知识在事件预测中的调用本质上是接口问题，事件描述是激发模型已有知识的实用途径。
🔑 关键词速览
| LLMs | 大型语言模型，指经过海量文本预训练、具备广泛世界知识的深度学习模型。 |
| 事件预测 | 根据历史事件序列预测未来事件发生的时间、类型或结果的任务。 |
| DescribeEvent | 本文提出的基准数据集，包含约15万个带自然语言描述的事件，用于评估LLMs的事件预测能力。 |
| 符号标签 | 用离散符号（如类别编号）表示预测结果，与自然语言描述分离，以避免语义偏差。 |
| 接口问题 | 指LLMs未能有效利用其世界知识并非知识本身缺失，而是输入输出形式设计不当所致。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅