仅加0.2%参数，困惑度从12.81暴跌至3.76！
An Input-Dependent Readout Phase for Resonant Sequence Models
📖 AI 总结
本文针对谐振序列模型（ResonatorLM）提出了一种输入依赖的读出相位改进方法。ResonatorLM通过固定学习相位读取一组阻尼复振荡器，虽保留了O(T log T)的卷积训练路径，但每个输入读取记忆的方式完全相同。作者将读出相位改为当前token的函数，仅增加0.2%参数，且保持卷积精确性。对未训练振荡器组的分析表明，相位确实编码了经过时间，但普通token在2至8步内即低于背景，且无论阻尼如何选择，线性重建都无法超过约16个token。在WikiText-2上的6M参数字符级模型中，输入依赖相位在训练长度内与原模型持平，并消除了超出训练长度后的失效：训练256token、测试1024token时，困惑度从12.81降至3.76。作者将失效归因于长记忆头累积了超出训练暴露范围的历史。学习到的相位追踪的是当前字符而非距离，且未改善检索能力。
🔑 关键词速览
| ResonatorLM | 一种基于阻尼复振荡器组的序列模型，通过固定学习相位读取记忆，属于固定状态转移的模型。 |
| 输入依赖读出相位 | 将读出相位设为当前token的函数，使读取过程具有输入依赖性，同时保持卷积精确。 |
| 阻尼复振荡器 | 一组复数振荡器，其振幅随时间衰减，用于存储和读取序列记忆。 |
| 困惑度 | 语言模型常用的评估指标，表示模型对测试数据的预测不确定性，值越低表示性能越好。 |
| 长记忆头 | 模型中负责处理长期依赖的注意力头或状态组件，可能积累过多历史信息导致泛化失败。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅