递归深度推理器暗藏玄机：测出动力学状态，数独准确率从0.19飙到0.34！
Think Shallow, Solve Deep: Controlling Recurrent Dynamics for Reliable Test-Time Depth
👨💼 主理人解读 · 为什么值得关注
通过控制循环网络的有限时间动态状态，预测额外迭代对答案的影响，实现可靠的测试时深度推理。
📖 AI 总结
本文探讨了递归深度推理模型在测试时增加迭代次数对答案质量的影响。研究发现，训练后算子的有限时间动态状态（分为稳定、临界和漂移三种）可预测额外迭代的效果，并提出了“深度安全”的充分条件：当算子的单步位移小于解码器余量时，进一步迭代不会改变解码结果。实验表明，在算法任务上，稳定算子不会因增加深度而退化，某些任务（如数独）在训练范围外的困难实例上准确率从0.19提升至0.34。移除终端不动点目标会导致漂移并丧失增益，而将其加入通用递归可实现进位传播的深度安全外推。文章还提出四项实用测试时深度标准，并验证了Huginn-3.5B模型属于非稳定家族，为可靠利用测试时计算提供了理论依据。
🔑 关键词速览
| Recurrent-depth reasoners | 一类通过迭代更新来逐步推理的模型，深度对应迭代次数。 |
| Finite-time dynamical regime | 描述算子有限时间步内动态行为的类别，如稳定、临界或漂移。 |
| Depth-safety | 指增加迭代深度不会导致答案变差的性质。 |
| Terminal fixed-point objective | 一种训练目标，鼓励模型在最终状态达到不动点，从而影响深度行为。 |
| Huginn-3.5B | 一个大型语言模型，用于验证所提测量方法的适用性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅