对比学习新突破：锚点散度让AI按语境切换语义几何，检索效率飙升！
Anchor Divergence for Semantic Geometry in Contrastive Learning
📖 AI 总结
该论文探讨了语义上下文如何决定学习到的向量表示的几何结构。传统相似度度量通常采用余弦相似度，对应单一固定几何，但语义相似性本质上是上下文相关的——两幅图像可能因物体相同、风格相近或对应同一临床发现而相似。作者利用对比学习、指数族与信息几何之间的相互作用，建立了锚点上的概率分布与表示空间上Bregman几何之间的对应关系，并据此提出“锚点散度”方法，可在固定表示上指定特定上下文的语义几何。在该对应下，对锚点分布建模即等价于对几何本身建模。检索实验表明，锚点散度是一种有效且高效的方式，能够指定上下文相关的语义相似度。
🔑 关键词速览
| 对比学习 | 一种通过拉近相似样本、推开不相似样本来学习表示的自监督学习方法。 |
| Bregman几何 | 由Bregman散度诱导的一类非欧几何结构，常用于衡量概率分布或向量之间的差异。 |
| 锚点散度 | 本文提出的方法，通过锚点上的概率分布来定义表示空间中语境特定的语义几何。 |
| 信息几何 | 用微分几何研究概率分布空间和统计模型的学科，关注其内在几何结构。 |
| 指数族 | 一类具有特定指数形式的概率分布族，包括高斯分布、伯努利分布等，具有良好的统计性质。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅