AI可解释性研究正面临一次关键分歧。Goodfire研究员Nick Cammarata发表长文《神经网络本已清晰》,挑战他本人曾参与奠定的“叠加假说”。该假说认为,当神经元不足时,网络会把无关概念塞进同一神经元,导致“多义性”,因此许多实验室需训练稀疏自编码器等第二模型来拆解概念。Cammarata如今认为,最著名的证据被误读了:经典“猫脸与汽车”神经元实为V形检测器,对尖角形状激活、对圆形抑制,并非两个无关概念的叠加。OpenAI的Roon称此为历史性时刻,DeepMind的Neel Nanda则警告不要过度炒作。若Cammarata成立,大模型内部结构可能远比想象中清晰,将深刻影响可解释性研究的方向与投入。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅