🔥 今日值得一读
无需人类标注，冻结Qwen3-VL中间层加线性头，仅几千参数就击败GPT-4o，VL-RewardBench领先6.6分！
Unsupervised Multimodal Reward Modeling
👨💼 主理人解读 · 为什么值得关注
开发者可省去昂贵偏好标注，用冻结 VLM 中间层加线性头快速搭建多模态奖励模型，用于对齐或重排序。
📖 AI 总结
本文提出一种无需人工偏好标注的多模态奖励建模方法。作者在冻结的Qwen3-VL骨干网络中间层上训练一个线性评分头，通过让模型对同一图像的网络描述打分高于其扰动版本来学习奖励信号，标注数据仅用于选择层。实验表明，中间层的选择至关重要，比最后一层高出5.8分；该方案在32B规模下于三个基准上达到或超过GPT-4o，在VL-RewardBench上领先6.6分，而参数量仅数千、计算量约为微调的千分之一。在相同配对预算下，扰动方法比精选的RLAIF-V数据多带来3至5分提升。由于骨干冻结，目标函数为凸，扰动采样器决定了奖励的具体含义，而基准排名无法识别这一点：两个在相同扰动不同子集上训练的头在基准上持平，却在幻觉判断上相差6.4分。基于策略自身验证器标注的候选重新训练评分头，可降低5.1个CHAIR幻觉点并提升5.4个图像生成通过率，尽管在所有奖励基准上得分更低。该工作表明，中间层探针、免费的同图扰动与验证器驱动的自举三者结合，可构建无需标注者、成本极低、且由训练比较而非基准排名所定义的多模态奖励模型。
🔑 关键词速览
| 视觉-语言奖励模型 | 一种用于评估视觉-语言模型输出质量的模型，通常基于人类偏好数据进行训练。 |
| Qwen3-VL | 一种视觉-语言预训练模型，作为冻结的主干网络用于提取特征。 |
| 扰动 | 对原始标题进行微小修改以生成负样本，用于训练模型区分优劣。 |
| VL-RewardBench | 一个用于评估视觉-语言奖励模型的基准测试集。 |
| CHAIR | 一种评估图像标题生成中幻觉程度的指标，值越低表示幻觉越少。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅