🔥 今日值得一读
VLM看图就错？最小编辑蒸馏让推理准确率飙升，无需额外标注！
Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
👨💼 主理人解读 · 为什么值得关注
可让小VLM通过纠正图文误读来提升数学推理，无需推理时额外调用大模型，适合低成本多模态部署。
📖 AI 总结
该论文针对视觉语言模型在多模态数学推理中的感知瓶颈问题提出解决方案：模型若在推理开始前误读图表，后续推理便建立在错误前提上，小模型尤为明显，而准确的文本描述能显著缩小其与大模型的差距。为此，作者提出最小编辑纠正式在线策略蒸馏方法，将参考图描述与已验证参考解仅作为训练信息，由教师模型按最小编辑目标对学生的错误轨迹打分，仅教师不认可的token参与纠正损失，正确轨迹则接受任务奖励强化学习，从而在保留在线策略监督的同时避免整段回答的模仿。实验表明，该方法在测试阶段无需额外描述，在多个模型规模上达到或超过推理时附带参考图描述的基座模型，并提升了感知类表现，尤其是低层几何感知，且可迁移至外部数学与感知基准。由于教师只评估纠正而非自行生成解答，该方法在冻结的同规模教师下仍有效，但多数指标上的增益小于使用更大教师的情形。
🔑 关键词速览
| 视觉语言模型 (VLM) | 同时处理视觉和文本信息的多模态模型，用于视觉数学推理等任务。 |
| 同策略蒸馏 (On-Policy Distillation) | 一种知识蒸馏方法，学生模型在自身生成的轨迹上接受教师模型的监督。 |
| 最小编辑目标 (Minimal-Edit Objective) | 一种训练目标，旨在对错误响应进行最小程度的修正，而非完全模仿正确响应。 |
| 感知瓶颈 (Perceptual Bottleneck) | 模型在感知阶段（如读图）的局限性，导致后续推理基于错误前提。 |
| 任务奖励强化学习 (Task-Reward Reinforcement Learning) | 使用任务特定奖励信号来优化模型行为的强化学习方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅