🔥 今日值得一读
长尾驾驶难题不止识别！新框架动作预测准确率暴涨60.8%，碾压传统LoRA两倍！
CoLT-Drive: Counterfactual Long-Tail Benchmarking and Knowledge-Preserving Adaptation for Driving Affordance Prediction
👨💼 主理人解读 · 为什么值得关注
帮助自动驾驶系统处理罕见物体对驾驶动作的影响，开发者可用此基准评估和优化决策模型。
📖 AI 总结
该研究指出，自动驾驶长尾问题的核心不仅在于识别罕见物体，更在于模型能否推断这些物体对自车可行高层动作的影响，即决策层面的驾驶可承担性预测。为此，作者构建了CoLT-Drive基准，包含3536个反事实长尾样本，通过在固定驾驶场景中插入罕见物体，评估模型预测可接受动作对的能力。针对可部署的小型视觉语言模型，研究提出知识保留适应框架KPA，结合结构化感知到决策提示、基于SLERP的专家合并，以及机制感知的LoRA专家混合模块RegMoE，在保留模型开放世界知识的同时，为不同驾驶决策机制分配轻量适应能力。实验显示，KPA在CoLT-Drive上达到60.8%的动作对准确率，显著优于预训练Qwen3-VL-2B基线的50.3%和LoRA微调的32.4%，同时保持领域内准确率。该工作为长尾驾驶场景的评估与模型适应提供了新思路。
🔑 关键词速览
| CoLT-Drive | 一个反事实长尾基准，用于评估自动驾驶模型在稀有物体存在时的决策级动作预测能力。 |
| KPA | 知识保留适应框架，通过结合提示、专家合并和混合专家模块，在保留预训练知识的同时适应驾驶决策。 |
| RegMoE | 一种基于状态感知的LoRA混合专家模块，用于为不同驾驶决策状态分配轻量级适应能力。 |
| SLERP | 球面线性插值，一种用于合并模型参数的技术，此处用于专家合并。 |
| LoRA | 低秩适应，一种参数高效的微调方法，通过低秩矩阵更新模型权重。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅