量子模型也能像大语言模型一样扩展？里德堡原子临界点附近竟完美遵循幂律！
Do Quantum Models Scale Like LLMs?
📖 AI 总结
该研究以在相互作用里德堡原子阵列的量子比特投影测量数据上训练的自回归Transformer模型RydbergGPT为对象，考察量子模型是否具备类似大语言模型的神经缩放规律。结果显示，在量子临界点附近，Transformer损失随训练数据量的变化可由带损失下限修正的幂律较好描述；而远离临界点时，幂律拟合质量明显下降。研究者进一步用熵归一化、有限样本校正的互信息两点函数比较里德堡测量数据与自然语言语料的统计结构，发现近临界量子统计与自然语言最为接近，远离临界点的量子构型则衰减更快。这表明多尺度依赖性可能是稳定神经缩放的重要来源，缩放行为应被视为模型与数据共同构成的属性。
🔑 关键词速览
| RydbergGPT | 一个在里德堡原子阵列量子测量数据上训练的自回归Transformer模型。 |
| 神经标度律 | 描述模型性能（如损失）随训练数据量或模型规模增加而变化的规律。 |
| 里德堡原子阵列 | 由里德堡原子组成的量子系统，常用于量子模拟和量子计算研究。 |
| 临界点 | 系统相变发生的参数点，此处系统表现出标度不变性和长程关联。 |
| 两点函数 | 描述系统中两个点之间关联的统计量，常用于分析空间或时间上的关联结构。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅