📖 AI 总结

Sakana AI 的研究人员提出了一种名为 PC-ALM（增广拉格朗日预测编码）的训练方法，作为反向传播的层级局部替代方案。传统反向传播依赖全局的前向与反向传播阶段锁定，而大脑并不存在这种全网同步机制，因此预测编码等局部学习方案一直受到关注。但标准预测编码在深层窄网络中会因信用信号衰减而失效，宽度小于深度时尤为严重。PC-ALM 从约束优化视角出发，在预测编码的二次惩罚基础上，为每层约束引入拉格朗日乘子，从而在保持逐层局部更新的同时恢复与反向传播对齐的信用信号。研究团队报告称，该方法在 MNIST 上训练多达 1000 层的残差 MLP，性能与反向传播的差距约在 2 个百分点以内。该工作以 MIT 许可的 JAX 参考实现开源，目前仅在小型图像基准上验证，属于训练方法而非模型。