神经层传播新突破：SheafDEQ实现唯一平衡点，测试时计算全局收敛！
Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation
📖 AI 总结
本文提出SheafDEQ，一种具有自适应神经层传播的次齐次深度均衡架构，旨在解决隐式图神经网络（IGNN）在表达力与均衡唯一性之间的权衡问题。传统IGNN为保证不动点迭代收敛，往往对循环更新施加约束，限制了均衡处可用的变换类型。SheafDEQ通过学习到的矩阵值层限制映射，使相邻节点表示能够对齐、混合或反转，从而在不牺牲均衡性质的前提下增强表达力。作者证明，在温和正则条件下，该模型从任意正初始化出发，均能通过不动点迭代全局收敛至唯一均衡；收缩性还保证在有界通信延迟下依然收敛。实验在需要重复非局部聚合的分布式推理任务及社区检测任务上进行，结果显示SheafDEQ在Sums、MNIST Terrain、Coordinates及异质性增强的社区检测中均优于固定传播的隐式基线。持续迭代诊断表明，在0.001至10的初始化尺度下，100次迭代后残差持续下降且预测敏感度低，延迟更新实验也显示对通信延迟不敏感。
🔑 关键词速览
| 隐式图神经网络 (IGNN) | 将节点表示定义为消息传递算子不动点的图神经网络，支持无限深度传播和灵活的测试时计算。 |
| SheafDEQ | 本文提出的次齐次深度平衡架构，采用自适应神经层传播，其层限制映射可对齐、混合或反转相邻表示。 |
| 神经层 (Neural Sheaf) | 一种将层论中的限制映射参数化为神经网络的图结构，用于建模边上的复杂变换。 |
| 不动点迭代 (Fixed-Point Iteration) | 通过反复应用算子来逼近其不动点的数值方法，本文中用于达到唯一平衡点。 |
| 通信陈旧性 (Communication Staleness) | 分布式计算中因节点间信息延迟导致的状态不一致，本文证明有界陈旧性下算法仍收敛。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅