测度数据也能玩稀疏字典！嵌入希尔伯特空间，高光谱到LLM全搞定
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
📖 AI 总结
本文研究概率测度值数据的字典学习问题，提出通过最优传输几何导出的特征将测度嵌入希尔伯特空间，并借助稀疏自编码器参数化学习数据自适应的字典，从而将概率测度表示为快速、可扩展的稀疏有限维编码。该框架融合了最优传输的几何结构与稀疏表示学习的可解释性和效率，在高光谱图像、几何点云以及大语言模型潜在空间中的文档嵌入等多种数据模态上验证了有效性。理论方面，作者证明了针对广泛L²值测度嵌入类的稀疏字典学习目标的泛化界，以原子类的度量复杂度表示；对于最优传输和熵传输映射字典，推导出新的覆盖数界并给出显式收敛速率。计算与理论结果共同支持了一种通过嵌入希尔伯特空间实现概率测度空间表示学习的新型可扩展模型。
🔑 关键词速览
| 最优传输 | 一种比较概率分布的几何理论，通过寻找最小代价的传输方案来定义分布之间的距离。 |
| 稀疏字典学习 | 从数据中学习一组基原子（字典），使得每个数据样本可以表示为少数原子的线性组合。 |
| 测度值数据 | 每个数据样本本身是一个概率测度（如分布）而非向量或图像的数据类型。 |
| 覆盖数 | 度量空间复杂性的一种度量，表示用给定半径的球覆盖整个空间所需的最少球数。 |
| 泛化界 | 机器学习理论中用于刻画模型在未知数据上表现的理论上界，通常与样本量和模型复杂度有关。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅