这篇论文提出了一种名为Code-as-World的新范式,将物理世界表示为可执行的代码形式,涵盖物理构成、动态演化和视觉外观。研究团队开发了一个基于溯因推理的智能体发现循环,让智能体通过提出、执行、渲染、验证和迭代优化可执行世界假设,从多模态观测(如自然语言描述或真实视频)中构建此类表示。作为具体应用,研究者利用验证过的可执行世界为视觉语言模型提供可扩展的物理监督,用于定量物理推理训练。实验表明,Code-as-World-VL在QuantiPhy基准上达到最先进性能,并超越领先的专有模型。这项工作凸显了可执行世界表示作为物理智能可扩展基础的潜力,为弥合视觉语言模型在物理机制理解上的不足提供了新思路。
| Code-as-World | 一种将物理世界表示为可执行代码的范式,用于提供紧凑且可控的世界抽象。 |
| executable world representations | 可执行的世界表征,以代码形式表达物理组成、动态和外观,支持定量推理。 |
| agentic discovery loop | 智能体驱动的发现循环,通过提出、执行、渲染、验证和细化假设来构建世界模型。 |
| abductive reasoning | 溯因推理,从观测结果推断最可能的解释或假设。 |
| QuantiPhy | 一个用于定量物理推理的基准数据集,用于评估模型的物理理解能力。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅