🔥 今日值得一读
120万条数据+1.6亿标注，桌面智能体定位准确率飙升11.51个百分点！
DeskForge: Dense Supervision from Desktop Environments for Computer-Use Agents
👨💼 主理人解读 · 为什么值得关注
为桌面操作智能体提供可控训练数据生成环境，可提升复杂桌面场景下动作目标定位的鲁棒性。
📖 AI 总结
本文提出 DeskForge，一个可控的桌面环境，通过组合和探索真实应用程序，为计算机使用智能体生成大规模监督数据。该环境可变化应用状态、内容、窗口布局、外观与分辨率，并将截图、无障碍树和窗口几何信息融合为稠密的元素标注，同时记录每个动作的执行结果。基于此构建的 DeskForge-1M 数据集包含 120 万条标注桌面观测和 1.597 亿个元素实例。研究者在 20 万条定位样本上微调四个视觉语言模型，所有模型在留存的桌面条件及五个外部 GUI 定位基准上均有提升，其中 Qwen3.5-4B 在 ScreenSpot-Pro 上准确率提高 11.51 个百分点，在 OSWorld-G 上提高 10.11 个百分点。在固定规划器下，微调后的动作模型在 WebArena-Infinity 和 OpenApps 长程任务上的完成数也显著增加。结果表明，可控地组合真实桌面环境可为提升 GUI 定位与长程计算机使用能力提供可扩展的监督来源。
🔑 关键词速览
| Computer-Use Agents | 能够像人一样操作图形界面完成任务的智能体，例如点击按钮、输入文本、切换窗口。 |
| GUI Grounding | 将自然语言指令中的动作目标准确映射到图形界面具体元素（如按钮、输入框）的能力。 |
| Accessibility Trees | 操作系统或应用提供的结构化界面元素树，描述控件的层级、角色和属性，常用于辅助功能。 |
| DeskForge-1M | 本文构建的大规模桌面观测语料库，包含 120 万条带标注观测和 1.597 亿个元素实例。 |
| Long-Horizon Task Completion | 需要多步连续操作才能完成的任务，考验智能体在长时间跨度内保持目标和正确执行的能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅