离散扩散采样提速新突破！IGC几何度量让迭代复杂度锐减，最优步长策略曝光！
The information geometry of product-reference discrete diffusion: Interaction growth complexity and optimal scheduling
📖 AI 总结
该论文研究了一类基于乘积参考分布的离散扩散采样算法，并提出了一种新的路径几何度量——交互增长复杂度（IGC）来刻画其采样性能。作者证明，双变量IGC核能够精确表示KL离散化误差及一步上界，而更简洁的单变量IGC密度则可用于分析步长选择对迭代复杂度的影响。研究发现，采用对数平方可靠性优势等距步长的采样器，其性能取决于IGC总质量；而优化步长选择可降低复杂度，使其依赖于平方根泛函，且在细网格极限下两种刻画均趋于精确。此外，论文允许一般乘积参考分布，表明参考分布的选择能显著改变IGC轮廓与采样复杂度，远离均匀分布和数据边际的参考可实现维度相关的改进。最后，IGC总质量可由总相关和双总相关界定，从而将路径几何与经典多元依赖度量联系起来。
🔑 关键词速览
| product-reference diffusion | 一种扩散模型，其中参考分布为乘积分布，用于从离散分布中采样。 |
| interaction growth complexity (IGC) | 一种基于路径的数据几何度量，用于表征离散扩散算法的采样性能。 |
| KL discretization error | 离散化过程中产生的KL散度误差，衡量连续与离散过程之间的差异。 |
| total correlation | 衡量多个变量之间联合依赖性的经典度量，是互信息的推广。 |
| dual total correlation | 总相关性的对偶形式，用于度量变量间的冗余信息。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅