本文提出CircuitTree方法,旨在将神经网络拆解为可解释的模块化子网络(即“电路”)后,再将任意数量的电路重新组合为单一模型。作者指出,此前基于简单并集的电路组合方式存在局限,为此设计了贪心且密度缩放的组合算法,并通过CircuitTree这一基于Θ(N log N)树形组合调度的数据结构将其推广至N个电路。实验从HuBERT中剪枝出39个用于音素分类的电路,将其组合为音节分类器,而这一能力是任何单个音素电路都不具备的。进一步将多个CircuitTree串联为层级式电路流水线后,开放音节转写准确率达到64.8%,与完全不共享电路的上限66.0%仅差1.2个百分点,且电路组件共享率高达99.5%。该工作表明,通过结构化组合可解释子网络,能够以极低的额外参数代价获得超越单个电路的新能力,为神经网络的可解释性与模块化复用提供了可行路径。
| Circuit Discovery | 电路发现,指将大型神经网络分解为可解释的模块化子网络的方法。 |
| HuBERT | 一种自监督语音表示学习模型,常用于语音识别和音素分类任务。 |
| CircuitTree | 本文提出的数据结构,用于高效组合多个电路,基于树形组合调度。 |
| Phoneme | 音素,语音中最小的声音单位,用于区分单词意义。 |
| Syllable | 音节,由音素组成的语音单位,通常包含一个元音和可选辅音。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅