三种多模态对齐范式大比拼：144种组合竟无全能王者，DECOUPLED险胜54次！
Joint, Decoupled, or Agent: When Each Multimodal Alignment Paradigm Wins
📖 AI 总结
该研究系统比较了多模态对齐的三种范式：联合预训练编码器加融合头（JOINT）、独立预训练编码器加融合头（DECOUPLED），以及冻结大语言模型配合任务指令与单模态读出（AGENT）。作者在五个领域16个配对数据集、多种标注预算下共144种组合中进行评测，发现没有一种范式全面占优：DECOUPLED在54种组合中平均效用最高，AGENT为46种，JOINT为44种。监督量增加会使ScienceQA、MELD和MetMeme从AGENT转向融合范式；JOINT在五个问答数据集中的四个领先，而单模态5-NN准确率越高，分类任务越倾向DECOUPLED。研究进一步提出两步级联路由，结合表示诊断、任务与预算元数据先选AGENT或融合、再选JOINT或DECOUPLED，在留一组评估中胜率达71.4%，优于仅用元数据的54.2%。这表明任务诊断可在拟合候选系统前有效指导范式选择。
🔑 关键词速览
| JOINT | 一种多模态对齐范式，在冻结的联合预训练编码器上训练融合头。 |
| DECOUPLED | 一种多模态对齐范式，在冻结的独立预训练编码器上训练融合头。 |
| AGENT | 一种多模态对齐范式，向冻结的大语言模型提供任务指令、标记示例、样本文本和监督式单模态读出。 |
| 5-NN accuracy | 单模态5-最近邻分类准确率，用于衡量表示质量。 |
| leave-one-group-out evaluation | 留一组交叉验证评估方法，每次留出一个组作为测试集。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅