神经网络特征叠加突破二次限制，维度只需线性增长！
High-probability guarantees for linear accessibility in feature superposition
📖 AI 总结
该研究探讨神经网络如何通过特征叠加在维度有限的情况下编码更多概念，并针对同时激活特征之间的交叉干扰所导致的线性可达性约束展开分析。作者将线性可达性问题建模为压缩感知问题，在次高斯噪声条件下推导了固定支撑集的高概率界，证明充分维度随特征数量呈线性增长，即 d=O_ε(k log m)，而非此前最坏情况下的二次上限。研究进一步通过高斯尾部近似在不同系统参数下验证了这些界的有效性。这一结果量化了线性表示假设所面临的几何约束，为评估稀疏自编码器、组合泛化能力及神经网络可解释性提供了理论框架。
🔑 关键词速览
| 特征叠加 | 神经网络中通过叠加多个特征来编码超过维度数量的概念的现象。 |
| 线性可访问性 | 同时激活的特征能否被线性解码或访问的性质。 |
| 压缩感知 | 从少量线性测量中恢复稀疏信号的信号处理理论。 |
| 稀疏自编码器 | 一种通过稀疏性约束学习可解释特征表示的自编码器。 |
| 线性表示假设 | 认为神经网络将概念编码为线性方向或子空间的假设。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅