无需标注数据也能跨域迁移！新框架JCAR让下游收敛速度由潜在维度决定
Joint Contrastive-Adversarial Representation Learning for Unsupervised Domain Adaptation
📖 AI 总结
本文提出一种名为JCAR的两阶段无监督域适应框架，旨在从带标签源域与无标签目标域的联合样本中学习可迁移的公共表示。该方法将对比学习与对抗式域对齐相结合，先学习公共表示，再冻结该表示并拟合源域监督的预测器。作者为该流程建立了非渐近超额风险界，将表示估计与域判别器估计耦合，同时分离下游预测，并显式纳入神经网络逼近误差。在Hölder光滑性β≥1等假设下，该界刻画出一个足够大的无标签样本区间，使下游收敛率约为m的负β/(2β+d)次方，其中m为带标签源样本数，且标签样本指数由潜在维度d而非环境维度p决定，p仅影响预训练成本。在Office-31、Office-Home和DomainNet上的实验表明，该方法在多种域偏移下均取得明显迁移增益，尤其在从零开始学习表示时表现突出。
🔑 关键词速览
| Unsupervised Domain Adaptation (UDA) | 无监督域适应，指在源域有标签、目标域无标签的情况下，将源域知识迁移到目标域的任务。 |
| Joint Contrastive-Adversarial Representation Learning (JCAR) | 联合对比-对抗表示学习，本文提出的两阶段框架，结合对比学习和对抗对齐来学习域不变表示。 |
| Excess-risk bound | 超额风险界，衡量学习算法得到的预测器风险与最优风险之间差距的理论上界。 |
| Hölder smoothness | Hölder光滑性，描述函数光滑程度的数学条件，常用于非参数估计的收敛率分析。 |
| Latent dimension | 潜在维度，指学习到的表示空间的维度，区别于原始输入的环境维度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅