366天自传96.7%纯属虚构！AI编造人生细节惊人曝光
Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes
📖 AI 总结
该研究首次对LLM生成的自传内容进行了场景级量化审计，以作者本人366天的日记为基准，评估模型在生成个人叙事时的虚构程度。结果显示，在未提供个人语料库的情况下，96.7%的天数未能通过事实核查，仅有12天包含可证实的场景，5.2%的天数包含与记录直接矛盾的陈述。主要失败模式为“接地漂移”，即真实人物、雇主和场景被嵌入虚构情节中。独立复评验证了核心结论，但分类体系的一致性仅为中等水平。使用当前主流模型重新生成仍100%失败，而将个人语料作为生成依据后，验证通过率显著提升，但仍有83.3%的失败率。研究提供了可复用的审计工具和量化改进方案，揭示了LLM在个人叙事生成中系统性虚构的严重程度，对AI辅助自传写作和记忆辅助应用具有重要警示意义。
🔑 关键词速览
| 场景级审计 | 一种评估方法，将文本分解为具体场景，并逐一验证其真实性。 |
| 验证失败率 | 指未通过验证的文本片段所占比例，反映生成内容与事实不符的程度。 |
| 基于事实的漂移 | 生成内容中真实元素被嵌入虚构场景的现象，导致部分真实但整体失真。 |
| Wilson置信区间 | 一种统计方法，用于估计比例参数的置信区间，尤其适用于小样本或极端比例。 |
| 基于语料库的生成 | 在生成文本时参考特定主体的真实语料，以提高内容准确性的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅