仅需100对样本，就能对齐两个预训练编码器，效果超越现有方法！
Representation Alignment from a Few Paired Data via Distilled Optimal Transport
📖 AI 总结
本文研究在仅有约100至500对配对样本、而两侧非配对数据充足的条件下，如何对齐两个独立预训练的单模态编码器。作者提出一种方法：用每个表示与N个配对锚点的相似度来构建共同坐标系，将两个模态的点云通过一个基于全部数据求解的熵最优传输问题进行匹配，其边缘约束可缓解导致最近邻匹配失败的枢纽性问题，并将所得传输方案蒸馏为两个轻量编码器，使对应关系具备归纳能力。作者还将该边缘约束与双语词典归纳中的一步枢纽修正联系起来。该方法仅需锚点配对，非配对数据可分别从两个边缘分布独立采样。在图像-文本和分子-文本对齐任务上，该方法在相同锚点预算下于Flickr30k、MS-COCO和ChEBI-20数据集上优于现有方法。
🔑 关键词速览
| Representation Alignment | 表示对齐，指将不同模态的表示映射到共享空间以使它们可比较或可匹配。 |
| Optimal Transport | 最优传输，一种在给定成本下寻找两个分布之间最优匹配的数学框架。 |
| Entropic Optimal Transport | 熵最优传输，在最优传输问题中加入熵正则化，使求解更高效且稳定。 |
| Hubness | 枢纽性，高维空间中某些点成为许多点的最近邻的现象，会干扰最近邻匹配。 |
| Distillation | 蒸馏，将复杂模型或方案的知识转移到轻量级模型中的技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅