神经网络隐藏层为何会涌现预测状态？我们证明了：扰动下最小线性转换器仍能保持结构，误差随扰动线性增长！
Approximate Homomorphisms and Convergent Representations in Transducers
📖 AI 总结
该研究探讨了受控随机过程（特别是转换器）的最小表示在扰动下的稳定性，动机源于神经网络潜在表示中发现预测状态结构的实验。作者引入了近似同态概念，用于捕捉标准、线性和预测转换器之间的局部结构相似性，并定义了比较其动态接口的度量，证明了近似同态的可组合性。关键发现包括：标准转换器中存在简单接口无法在不同实现间建立近似同态；而对于有限秩接口，所有足够接近的最小线性转换器实现都能与最小实现建立近似同态，误差随扰动线性增长；预测转换器在残差度量下也有类似稳定性结果。这些发现揭示了规范转换器表示在何种条件下对扰动鲁棒，同时表明缺乏结构限制时收敛会失败。研究为AI模型潜在表示展现结构收敛的假设提供了理论支持。
🔑 关键词速览
| transducers | 转换器，一种将输入序列映射到输出序列的有限状态机或计算模型，常用于处理序列数据。 |
| approximate homomorphism | 近似同态，一种放宽了严格同态条件的映射，允许在结构保持上存在一定误差，用于比较两个系统之间的相似性。 |
| minimal representations | 最小表示，指在某种等价类中具有最小状态数或最简结构的表示，通常用于捕获系统的核心动力学。 |
| predictive-state structure | 预测状态结构，指基于未来预测的统计充分统计量来定义的状态表示，常见于预测状态表示（PSR）模型中。 |
| interfaces | 接口，这里指转换器诱导的动力学抽象，用于比较不同实现之间的行为。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅