谱摘要骗过所有矩，学习曲线却暴露教师！
Spectral Indistinguishability and Learning-Curve Identifiability in Quadratic Networks
📖 AI 总结
本文研究中心化二次网络的谱摘要与标量学习曲线所能揭示的信息。作者构造了具有精确高斯一维和二维边缘分布的正输入密度，其完整四阶矩算子通过一个固定整个对角教师代数的正交映射相互纠缠，导致相应的锚定谱测度一致，即谱不可区分。然而，对于具有非零循环不变量的共同教师，由于该映射不保持矩阵乘法，其因子化损失曲线出现差异。循环长度r可任意大，对每个固定构造给出训练时间上一致的O(ε^r)对比度。对于给定的一对网络，含噪标量损失查询需要ε^{-2r}量级观测，而有界初始化干预配合标量梯度读数仅需ε^{-2}量级。研究还表明，在有理无关教师谱与高斯输入下，单条精确损失曲线可将初始预测器识别至符号共轭，并进一步识别教师谱与活跃维度。该工作揭示了谱方法在二次网络辨识中的根本局限，同时给出了学习曲线可实现识别的条件与样本复杂度界，对理解神经网络可辨识性具有理论意义。
🔑 关键词速览
| 中心化二次网络 | 一种神经网络模型，其中神经元激活函数为二次函数且输入被中心化处理。 |
| 谱不可区分性 | 指不同的网络或分布具有相同的谱特征（如谱测度），从而无法通过谱信息区分。 |
| 学习曲线可识别性 | 指通过观察学习曲线（如损失随训练时间的变化）来唯一确定网络参数或教师模型的性质。 |
| 四阶矩算子 | 由输入分布的四阶矩定义的算子，用于捕捉分布的高阶统计特性。 |
| 教师代数 | 由教师网络的参数生成的代数结构，用于描述网络的可观测性质。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅