研究者提出JEPA-Anything,一个面向世界模型的领域无关框架,用同一套学习配方替代为每个领域单独设计预测模型。该方法在联合嵌入预测架构(JEPA)基础上引入正交预测分解(OPF),将宽度为d的潜在目标拆分为K个宽度为r的学习子空间(多数实验取K=4),每个因子配备独立预测器,再通过投影矩阵的Moore-Penrose伪逆重组为完整潜在状态,并配合正交损失、因子活跃度损失和编码器方差损失三项正则化防止因子失效与表征坍缩。团队在视觉、生物学、临床轨迹、控制、分子动力学、物理场和天气共7个领域验证了该框架。实验显示,正交性对稳定合成至关重要:在CITRIS Interventional Pong任务上,容量匹配的无约束多头模型条件数高达438.52,表明缺乏正交约束时表征质量显著恶化。该工作意味着通用世界模型可能无需领域定制,为跨领域预测建模提供了统一路径。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅