LLM造新词速度碾压人类！神经时间点过程揭示语言生成差异
Modeling the Arrival Time of Information-Bearing Events in Natural Language
📖 AI 总结
该研究提出一种新方法，利用神经时间点过程（TPP）对自然语言中关键信息承载事件的到达时间进行建模，弥补了以往仅依赖惊讶度等信息论指标进行事后分析的不足。模型以事件间隔历史和大型语言模型提供的上下文语义表示为输入，预测新词与高惊讶度词元两类事件的未来到达时间。实验发现，大语言模型生成新词的速率显著高于人类，而高惊讶度词元则无此差异；新词事件强度随时间呈衰减模式，高惊讶度词元事件则不然。这些发现重新审视并拓展了此前基于简单方法的研究，为人类语言生成中受限上下文表征理论提供了补充证据，并为比较人类与大语言模型的生成差异提供了新视角。
🔑 关键词速览
| 神经时间点过程 (Neural Temporal Point Processes, TPPs) | 一种用于建模连续时间中事件发生概率的神经网络模型，通过可学习的强度函数预测事件到达时间。 |
| 惊奇度 (Surprisal) | 信息论中衡量一个词在上下文中意外程度的指标，通常定义为负对数概率。 |
| 事件强度函数 (Event Intensity Function) | 在时间点过程中描述事件在给定历史下瞬时发生率的函数，用于预测未来事件时间。 |
| 新词事件 (New-word Event) | 文本序列中首次出现或未在先前上下文中出现的词所对应的事件。 |
| 高惊奇度词元 (High-surprisal-token) | 在上下文中具有高惊奇度值的词元，即出现概率较低、较意外的词。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅