世界模型新Bug曝光！傅里叶辅助头让规划成功率飙升，零额外推理成本
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
📖 AI 总结
该论文针对JEPA风格潜在世界模型提出了一种新的失败模式——“物理表征惰性”，即在高动态环境中，模型虽未发生表征坍塌，但潜在状态未能捕捉关键物理属性，导致下游规划任务普遍失败。作者提出在训练阶段引入轻量级“傅里叶辅助头”进行辅助监督，以物理信息引导潜在空间的结构化，且不增加推理成本，可适用于任意环境。实验表明，该方法在基线LeWorldModel出现物理表征惰性的动态环境中显著提升规划成功率，在其他环境中也有小幅改进。进一步分析显示，规划性能的提升伴随潜在空间与关键物理属性相关性的增强，说明该方法有效促进物理结构化表征。此外，在低数据场景下辅助监督带来的成功率提升尤为明显，表明该方法同时改善了数据效率与整体性能。
🔑 关键词速览
| Latent world models | 潜在世界模型，指在潜在空间而非像素空间中预测环境动态的模型。 |
| Representation collapse | 表示坍缩，指编码器输出退化为常量或低多样性表示，导致信息丢失的现象。 |
| Physical representation laziness | 物理表示惰性，指潜在状态虽未坍缩但未能编码关键物理属性，导致规划失败的失效模式。 |
| Fourier auxiliary head | 傅里叶辅助头，一种轻量级训练时辅助监督模块，用于强制潜在空间结构化以反映物理属性。 |
| SIGReg | 一种正则化技术，用于联合训练编码器和预测器以防止表示坍缩。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅