神经网络不模块化？子空间层面照样功能分离，靶向干预成为可能！
Neural networks are more modular than single neurons suggest
📖 AI 总结
该研究挑战了"神经网络缺乏模块化组织"的普遍观点。作者提出一个嵌套的模块化层级框架，涵盖单元级、正交和线性三个层次，并开发了统一的分解学习与因果消融评估方法。在视觉模型、语言模型和多任务RNN上的实验表明，缺乏单元级模块化的网络在子空间层面往往仍表现出清晰的功能模块化：视觉模型中内容与风格、语言模型中句法与语义可在子空间消融下分离，尽管它们共享重叠的神经元群体。这些子空间还与脑数据呈现差异化对齐，内容子空间预测高级视觉皮层、风格子空间预测低级视觉皮层，语义子空间在预测语言皮层活动上优于句法子空间。该发现表明子空间级模块化普遍存在于单元级模块化缺失的网络中，为机制可解释性及理解生物与人工神经网络的功能组织提供了新视角。
🔑 关键词速览
| 单元级模块化 | 要求不同计算由完全不相交的神经元负责的模块化形式。 |
| 正交模块化 | 通过旋转寻找功能独立子空间的模块化层级。 |
| 线性模块化 | 用有界线性映射将任务相关计算分离到独立子空间的模块化层级。 |
| 选择性消融 | 通过移除特定子空间来因果评估其功能重要性的方法。 |
| 双重解离 | 两个任务分别依赖不同子空间，消融一个影响一个而不影响另一个的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅