视觉语言模型在孟加拉道路场景中细粒度防御推理准确率不足2%，粗粒度识别不等于安全驾驶！
BD-HazardVLM: Probing Vision-Language Models for Latent Defensive-Driving Hazards in Bangladesh Road Scenes
📖 AI 总结
该研究提出BD-HazardVLM诊断基准，包含500张孟加拉国道路场景图像（375张来自RSUD20K，125张来自TFP-BD），标注了危险存在性、危险类别、风险时序、严重程度、防御性动作、可见证据以及幻觉和西方道路偏见陷阱等维度。研究对Qwen2.5-VL-7B、InternVL3-8B和MiniCPM-V-4.6三个视觉语言模型进行零样本评估，发现二分类危险存在性准确率虽达88.0%至89.2%，但仅与89.0%的多数类基线持平；细粒度推理表现显著薄弱，类别准确率低于40%，风险时序准确率仅1.6%至12.4%，防御性动作精确匹配率不足2%。InternVL3-8B虽在严重程度准确率上达61.2%，但对58个高严重度案例召回率为零。所有模型均表现出较弱的潜在危险预判能力和近乎为零的陷阱自识别能力。该研究表明，粗粒度危险识别并不代表可靠的细粒度防御性驾驶推理能力，凸显了地理多样化安全评估的必要性。
🔑 关键词速览
| BD-HazardVLM | 本文提出的诊断基准，包含500张孟加拉国道路场景图像，用于评估视觉语言模型的防御性驾驶危险推理能力。 |
| Vision-Language Models (VLMs) | 视觉语言模型，能够同时处理图像和文本信息，用于驾驶场景理解等任务。 |
| Zero-shot task | 零样本任务，指模型在未针对特定任务进行微调的情况下直接进行推理和预测。 |
| Defensive-driving reasoning | 防御性驾驶推理，指识别潜在危险并采取预防性驾驶动作的认知过程。 |
| Hallucination and Western-road-bias traps | 幻觉和西方道路偏见陷阱，指模型可能产生不存在的危险描述或基于西方道路场景的偏见性判断。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅