随机多数投票去随机化：PAC-贝叶斯直接给出确定性泛化保证！
On the disintegration of the stochastic majority vote: From PAC-Bayesian bounds to a self-bounding algorithm
📖 AI 总结
本文针对加权多数投票这一集成学习核心方法，提出了一套去随机化框架。传统PAC-Bayesian理论虽能为随机分类器的期望风险提供紧致的泛化保证，但对确定性多数投票的风险分析往往依赖替代界，存在偏差。Zantedeschi等人（2021）虽引入了随机多数投票的保证，但所得模型仍是随机的。本文作者将近期发展的“解聚PAC-Bayesian理论”直接应用于多数投票权重向量空间，把随机保证转化为对单个确定性多数投票的认证，从而消除随机性。研究推导出两族高概率泛化界，分别覆盖数据无关与数据相关的集成构造方式，并由此自然导出一个自界学习算法，直接优化确定性多数投票的泛化保证。该工作为集成方法的理论分析与算法设计之间搭建了更紧密的桥梁。
🔑 关键词速览
| PAC-Bayesian theory | PAC-贝叶斯理论，一种结合PAC学习和贝叶斯方法的框架，用于推导学习算法的泛化误差界。 |
| Weighted majority votes | 加权多数投票，一种集成方法，其中每个基分类器的投票按权重加权，最终预测由加权投票结果决定。 |
| Derandomization | 去随机化，将随机算法或模型转化为确定性版本的过程，同时保持其理论保证。 |
| Disintegrated PAC-Bayesian theory | 解体PAC-贝叶斯理论，PAC-贝叶斯理论的一个变体，通过考虑后验分布的特定实例而非期望来提供更紧致的界。 |
| Self-bounding algorithm | 自界定算法，一种学习算法，其优化目标直接基于泛化误差界，从而在训练过程中自我约束。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅