🔥 今日值得一读
DEQ认证训练推理实现多项式复杂度，比特成本仅O(poly(L+b))！
Certified Inference and Training for Deep Equilibrium Networks: A Continuation Framework with Polynomial Complexity Guarantees
👨💼 主理人解读 · 为什么值得关注
为DEQ模型提供可证明的推理与训练稳定性保证，适合需要可靠收敛的隐式模型开发者。
📖 AI 总结
本文针对深度平衡网络（DEQ）的推理与训练，提出了一套带认证保证的延拓框架。在推理阶段，作者通过紧凑的输入同伦从给定起始根中选出唯一分支，并用舍入牛顿追踪器在边界、条件数、导数与管半径等认证约束下沿该分支求解。在训练阶段，作者在局部加低秩递推结构上引入可编程的休眠双线性秩一通道，并利用加载式吉洪诺夫求解在不做谱分解的情况下诊断插值失败，再通过保持输出的修复步骤提供所需方向。理论分析表明，在多项式级的几何、编码、精度与后端预算下，认证推理与训练的比特复杂度均为编码实例长度的多项式量级，训练所需轮次与初始残差所决定的储备通道数也给出了明确界。该工作将DEQ的求解与训练纳入可验证的复杂度承诺类，并用Lean 4形式化了定量核心与具体推理后端，为平衡类模型的可靠计算提供了理论与工具支撑。
🔑 关键词速览
| 深度平衡网络 (DEQ) | 一种隐式深度模型，通过求解平衡点而非显式堆叠层来定义前向传播。 |
| 延拓框架 | 一种通过连续变形从简单问题逐步求解复杂问题的数值方法。 |
| 同伦 | 数学中描述连续变形路径的概念，用于追踪解的分支。 |
| Tikhonov 正则化 | 一种通过添加惩罚项来稳定病态问题的正则化方法。 |
| Lean 4 | 一种交互式定理证明器，用于形式化验证数学和程序正确性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅