SGMCMC调参不用接受率？HyperMC用多保真度+KSD，预算内锁定最优配置！
HyperMC: Multi-Fidelity Hyperparameter Tuning for Stochastic Gradient MCMC
📖 AI 总结
这篇论文提出了HyperMC，一个针对随机梯度马尔可夫链蒙特卡洛（SGMCMC）方法的多保真度超参数调优框架。SGMCMC方法虽能实现可扩展的贝叶斯推断，但其性能高度依赖步长、小批量大小等超参数，且因缺乏Metropolis-Hastings接受率，传统调优手段难以适用。HyperMC结合了Hyperband式的资源分配与核斯坦因散度（KSD）评估，在固定计算预算下平衡超参数空间的广泛探索与精确评估。其变体Robust HyperMC通过全局网格初始化和精英引导的局部细化，降低了对随机候选生成和噪声评估的敏感性。理论分析表明，在特定条件下，该方法的逐次减半机制能以高概率选出近最优配置。在逻辑回归、概率矩阵分解和贝叶斯神经网络上的实验显示，HyperMC在 posterior 逼近和预测校准上优于MAMBA、网格搜索等基线方法，且Robust版本调优结果更稳定可复现。
🔑 关键词速览
| SGMCMC | 随机梯度马尔可夫链蒙特卡洛，一种用于大规模贝叶斯推断的采样方法。 |
| Hyperband | 一种基于资源分配的自适应调参算法，通过连续减半策略高效搜索超参数。 |
| KSD | 核Stein散度，一种用于衡量样本分布与目标分布差异的度量，无需归一化常数。 |
| Multi-fidelity tuning | 多保真度调参，通过在不同计算精度级别上评估配置来平衡效率与准确性。 |
| Metropolis-Hastings acceptance rate | Metropolis-Hastings接受率，用于决定MCMC采样中候选状态是否被接受的概率。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅