低维潜在空间重加权，迁移学习性能提升新突破！
Latent-Space Importance Weighting under Covariate Shift
📖 AI 总结
该研究提出一种面向协变量偏移的迁移学习算法，将样本重加权与表示学习相结合，其核心创新在于放弃传统方法直接在高维原始空间中建模的做法，转而利用低维隐空间进行密度比估计，并据此完成下游加权预测。理论层面，作者针对严格充分的学习表示、正则化的隐空间预测分数与密度比，建立了显式的目标域超额风险率，并在给定平滑条件下给出维度比较，同时分析了真实权重与固定预测器情形下的方差表现；所推导的有限样本不等式保留了表示质量误差项。在模拟与真实数据集上的实验表明，联合学习表示与隐空间加权能够带来性能提升，但结果对初始化方式和域的选择较为敏感。
🔑 关键词速览
| 协变量偏移 | 指训练数据和测试数据的输入特征分布不同，但条件分布相同的迁移学习场景。 |
| 样本重加权 | 通过给训练样本赋予不同权重来纠正分布偏移的技术，通常基于密度比估计。 |
| 表示学习 | 自动从数据中学习有效特征表示的方法，旨在提取对下游任务有用的低维特征。 |
| 潜在空间 | 低维的隐特征空间，通常由表示学习模型学习得到，用于捕捉数据的关键结构。 |
| 密度比 | 目标域与源域在输入特征上的概率密度之比，用于样本重加权以纠正协变量偏移。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅