多类学习三大难题被破解：正则化失效，学习无法简化！
Algorithmic Principles For Multiclass Learning Are Hard To Come By: Limits of Regularization and Proper Learning
📖 AI 总结
该研究探讨了多类学习中的两个核心问题：哪些预测问题可学习，以及如何学习。作者针对“学习能否归结为适当学习”以及“适当或不适当学习能否被正则化器捕获”这两个问题给出了否定答案，解决了此前文献中的三个开放问题。主要发现包括：存在可学习但无法嵌入任何适当可学习类的问题；适当学习可能需要训练误差，且其规模存在精确刻画；正则化并非通用学习器——某些适当可学习类无法被结构风险最小化（SRM）学习，某些可学习类无法被局部正则化器学习。此外，作者还提供了SRM可学习性的两个充分条件，并通过揭示偏好的可积性刻画了SRM的可表示性。这些结果深化了对多类学习算法原理边界的理解。
🔑 关键词速览
| Multiclass Learning | 多类学习，指预测目标为多个离散类别之一的监督学习问题。 |
| Proper Learning | 适当学习，要求学习器输出的假设必须属于给定的假设类。 |
| Regularization | 正则化，通过引入额外约束或惩罚项来防止过拟合的算法原理。 |
| Structural Risk Minimization (SRM) | 结构风险最小化，一种通过平衡经验误差和模型复杂度来选择假设的学习原则。 |
| One-inclusion Structure | 一包含结构，一种用于构造学习算法的组合结构，常用于多类学习的理论分析。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅