📖 AI 总结

该论文针对图形用户界面（GUI）智能体提出了一种潜在世界动作模型。现有基于像素空间的世界模型采用“先预测未来屏幕、再重新感知并选择动作”的两阶段范式，存在两大问题：像素重建计算成本高昂，且需重建大量与动作选择无关的外观细节，容易引发“身份捷径”问题，即预测的未来状态倾向于保留当前状态，而非反映动作引发的真实变化。为此，作者将预测目标从全屏重建转向潜在空间中的动作诱导未来信息，利用大型多模态模型作为潜在世界模型，通过共享表示驱动动作选择头和预测转移头，并引入动作感知对比目标以增强转移表示对动作诱导变化的判别能力。实验表明，该方法在离线和在线GUI设置下，成功率相对像素空间世界模型分别提升最高31.9%和40.6%，推理延迟降低最高98.9%。

🔑 关键词速览