FlashDiffusion无矩阵GPU瓦片法，省O(N²)内存！
FlashDiffusion: Fused Tiled Kernel Spectral Decomposition
📖 AI 总结
FlashDiffusion 针对扩散映射等核方法在几何极限（小带宽）下核矩阵趋于高秩、稠密高斯核需 O(N²) 内存的问题，提出一种无矩阵（matrix-free）方法。该方法在 GPU 融合分块（fused tiles）中直接计算稠密高斯核块，避免显式物化整个核矩阵，并将特征求解器与经验 β-flow 耦合，以自动选取有限样本下的分辨率尺度。此外，作者通过随样本量和带宽变化的延拓策略，用粗分辨率结果热启动代价更高的谱求解，从而降低整体计算成本。该工作为几何学习中的非线性谱表示提供了一条可扩展的计算路径，使大规模核谱分解在有限显存下变得可行，对依赖扩散映射的降维与表示学习任务具有实用意义。
🔑 关键词速览
| Diffusion maps | 扩散映射，一种基于马尔可夫链的降维方法，通过核矩阵的特征分解获得数据的低维嵌入。 |
| Gaussian kernel | 高斯核，一种常用的径向基函数核，形式为 exp(-||x-y||^2/(2σ^2))，用于衡量样本间的相似度。 |
| Matrix-free | 无矩阵方法，指算法不显式构造和存储整个矩阵，而是通过矩阵-向量乘积等操作隐式使用矩阵。 |
| Fused GPU tiles | 融合 GPU 瓦片，指在 GPU 上将多个计算步骤合并到同一个核函数中，并以瓦片（分块）方式处理数据，以提高内存局部性和计算效率。 |
| β-flow | β-流，本文中一种经验方法，通过调节参数 β 来选择有限样本下的分辨率尺度，可能类似于扩散映射中的尺度参数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅