MCR²分布外泛化竟可完全失效，预测误差接近100%！
On the Limits of Maximal Coding Rate Reduction for Out-of-Distribution Generalisation
📖 AI 总结
本文研究最大编码率降低（MCR²）目标在分布外（OOD）泛化中的局限性。MCR² 是一种基于信息论的表示学习框架，旨在学习具有判别性的结构化表示，并催生了可解释的白盒架构。然而作者发现，MCR² 在分布偏移下可能完全失效。研究确立了两点结论：其一，仅依赖 MCR² 目标可能允许完全预测失败——一种完全基于不稳定环境特征的表示可以达到全局编码最优，但在相关性反转后彻底失效，即便存在完美稳定的特征；即使所有测试输入都曾在训练中出现，编码质量也可任意接近最优而预测误差任意接近百分之百。其二，直接引入不变风险最小化（IRM）和风险外推（REx）所依据的不变性原则并不能消除这种失败，失效表示在训练环境中可具有相同的最优编码算子。这表明共享的编码最优性不足以保证稳定预测，MCR² 要实现可靠的 OOD 保证，需要新的假设或学习原则来建立跨环境的稳定预测关系。
🔑 关键词速览
| 最大编码率降低 (MCR²) | 一种基于信息论的表示学习目标，旨在学习类簇子流形的结构化、判别性表示。 |
| 分布外泛化 (OOD Generalisation) | 模型在训练分布之外的数据上保持性能的能力。 |
| 不变风险最小化 (IRM) | 一种学习跨环境不变表示以提升分布外泛化的方法。 |
| 风险外推 (REx) | 一种通过外推训练环境风险来鼓励不变性的方法。 |
| 编码最优性 | 表示达到最大编码率降低目标全局最优的状态。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅