🔥 今日值得一读
58.6万截图+63万指令，GroundGUI定位准确率冲上95.2%！
GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
👨💼 主理人解读 · 为什么值得关注
可用高质量GUI定位数据和蒸馏+RL训练流程，提升你的界面智能体把自然语言意图映射到屏幕元素的能力。
📖 AI 总结
该研究针对图形界面智能体构建中高保真多模态视觉定位资源稀缺的问题，提出了ScreenRef数据集与D2RL训练方法。ScreenRef覆盖桌面、网页和移动端，包含58.6万张截图和逾63.3万条指代表达实例，涵盖文本识别、视觉匹配、空间理解及拒绝场景等任务。为解决监督微调泛化不足和强化学习奖励稀疏的问题，作者提出蒸馏到强化学习（D2RL）方法，对Qwen3-VL-8B-Instruct依次进行SFT与D2RL训练，得到GroundGUI-8B。该模型在ScreenSpot-V2上达95.2%，ScreenSpot-Pro上63.9%，OSWorld-G上65.4%，MMBench-GUI L2上86.8%，UI-Vision上38.3%，在8B规模模型中显著优于基于开源数据训练的模型，性能可与闭源数据训练的模型相当甚至更优。
🔑 关键词速览
| GUI Grounding | 将自然语言指令映射到图形用户界面中具体可操作元素（如按钮、输入框）的视觉定位任务。 |
| ScreenRef | 本文提出的屏幕指代定位数据集，包含 58.6 万张 GUI 截图及超过 63.3 万个指代表达实例，覆盖桌面、网页和移动端。 |
| D2RL (Distillation-to-Reinforcement Learning) | 一种先通过监督微调蒸馏知识、再通过强化学习优化的训练方法，旨在解决 SFT 泛化不足和 RL 奖励稀疏的问题。 |
| ScreenSpot-V2 | 一个用于评估 GUI 视觉定位性能的基准数据集，包含多种屏幕元素和指令类型。 |
| Qwen3-VL-8B-Instruct | 本文用作基础模型的多模态大语言模型，具有 80 亿参数，支持视觉-语言指令跟随。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅