冻结导航器成功率暴跌至11%,TGIT一招拉回37.93%!
Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
arXiv AI (cs.AI) 重要 Agent多模态论文方法 🕐 今天 12:00

📖 AI 总结

本文针对空中视觉语言导航(VLN)中的“指令鸿沟”问题提出解决方案。现有导航智能体通常基于细节丰富、与轨迹对齐的指令训练,而用户实际发出的是简短、意图驱动的指令,导致在冻结的OpenFly导航器上成功率从31.03%骤降至11.33%。为扩大翻译器训练数据,作者利用语言模型结合人工风格示例,将原始指令转换为配对的、以意图为中心的弱指令,成功率为15.27%。在此基础上,提出轨迹锚定指令翻译器(TGIT),该前端保持导航器冻结,通过学习轨迹结果将弱输入翻译为智能体可执行的指令。实验表明,经弱指令训练的翻译器将弱输入成功率提升至37.93%,并零样本迁移至真实人类指令(11.33%提升至32.51%),同时在留出的OpenFly数据集上从4.95%提升至20.79%,并在CityNav和AirVLN上实现性能恢复。该工作为弥合用户意图与导航智能体执行之间的语义差距提供了有效途径。

🔑 关键词速览

Aerial VLN空中视觉语言导航,指智能体根据自然语言指令在三维空中环境中导航的任务。
Instruction Gap指令鸿沟,指训练时使用的详细轨迹对齐指令与用户实际发出的简短意图指令之间的差异。
Frozen Navigator冻结导航器,指在训练翻译器时保持参数不变的预训练导航模型。
Trajectory-Grounded Instruction Translator (TGIT)轨迹接地指令翻译器,一种前端模块,通过导航器的轨迹结果学习将弱指令翻译为可执行指令。
Zero-shot Transfer零样本迁移,指模型在未见过的新任务或数据上直接评估性能,无需额外训练。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅