📖 AI 总结

这篇论文从信息论角度重新审视了大模型的事实性幻觉问题。作者指出，以往研究多将幻觉归因于“覆盖不足”，即模型内部记忆中没有相关事实；但还存在一个被忽视的误差来源——即使事实曾被观测到，有限的记忆容量也可能迫使模型只能对其进行近似存储，从而产生有损回忆。为此，作者提出一个简洁的“覆盖—压缩”模型：学习者观测M条训练事实，将其压缩进至多B比特，并在无检索条件下回答随机测试查询。针对均匀随机的真值映射，论文证明了一个误差下界，将总误差分解为两部分：已观测事实上的压缩失真，以及未观测事实上的覆盖缺失。该下界为理解选择性记忆、强制压缩、检索、弃答和长上下文组织提供了统一框架。作者进一步通过理论模拟和在现代语言模型中控制事实注入的探针实验，验证了所预测的特征。研究强调，这并非幻觉的完整理论，而是对有限记忆下已观测事实有损回忆这一可分离失效模式的信息论刻画。

🔑 关键词速览