Q-聚合算法竟能同时拿下极小极大和指数速率？有限假设类完美两全，无限类却藏权衡！
Reconciling Universal and Uniform Learning with $Q$-Aggregation
📖 AI 总结
该研究探讨了回归问题中两种学习框架——通用学习与统一学习——之间的算法原则冲突。在有限假设类下，模型选择聚合要求使用非适当算法以达到极小极大最优风险，而通用学习框架中简单经验风险最小化即可实现最优指数学习率。作者通过证明Q-聚合估计器能同时实现极小极大最优尾部与指数通用率，回答了“同一算法能否兼顾两种最优性”的问题，而经验风险最小化、顺序平均、剪枝及星形估计等方法均无法同时满足。然而，对于可数无限假设类，研究给出了否定答案，指出指数通用率与极小极大统一率之间存在固有取舍，而Q-聚合可精确刻画并调和这一权衡。此外，论文还补充了平方损失下通用率的结构性结论，为理解不同学习框架下的算法设计提供了理论依据。
🔑 关键词速览
| Q-aggregation | 一种聚合估计器，通过加权组合多个预测器，能实现极小极大最优尾部，并在此文中被证明也能实现通用指数速率。 |
| model selection aggregation | 一种统计学习问题，目标是从有限个候选模型中选择或组合以最小化风险，通常需要不当学习算法。 |
| universal learning | 一种学习框架，关注对所有可能的数据分布实现最优学习速率，而不依赖于特定分布假设。 |
| minimax excess risk | 在最坏情况分布下，估计器与最优预测器之间的期望损失差异的最小可能上界。 |
| improper learning | 一种学习设置，允许算法输出不在原始假设类中的预测器，通常用于实现更好的统计保证。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅