K折交叉验证不一定增加证据！新框架γ-CUBV揭示：相关性强时有效折数骤降，小样本下K折反而更不确定
When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion
📖 AI 总结
本文提出一个统一理论框架，用于回答"准确率何时构成证据"这一机器学习验证中的核心问题。作者将交叉验证（CV）的准确率重新解释为对真实风险的保守上界，并以泛化间隙的矩生成函数为核心，通过累积量包络γ(λ)构建出一族风险界，统一涵盖Hoeffding、Bernstein、依赖感知、PAC-贝叶斯及异构多源融合等多种情形。针对K折交叉验证，作者用联合次高斯代理矩阵刻画折间依赖，在等相关假设下导出有效折数Keff=K/[1+(K-1)ρ]，表明当折间高度相关时，增加K未必提升统计证据量。框架进一步扩展至预测器后验分布与加权多源融合，权重通过最小化未来风险上界而非经验误差来选择。实验基于异构多模态高斯混合上的线性分类器，比较K折CV与全样本重代入加风险校正，以覆盖率和紧致度评估风险界。结果显示，在低维小样本场景下，K折划分可能因单折欠代表少数模态而增大不确定性，而校正后的重代入反而更有效且更紧致；该效应随样本量增大而消失。该工作将观测性能、不确定性、依赖性、模型复杂度与置信度分离为显式项，为神经影像等异构小样本应用提供了从CV分数到风险陈述的统一路径和有原则的验证准则。
🔑 关键词速览
| K-fold cross-validation (CV) | K折交叉验证，将数据集分成K份，轮流用其中一份验证、其余训练，以评估模型泛化性能的常用方法。 |
| Cross Upper-Bound Validation (CUBV) | 交叉上界验证，一种用真实风险的保守上界替代传统交叉验证准确率的方法，旨在提供更可靠的性能证据。 |
| Cumulant envelope γ(λ) | 累积量包络，控制泛化差距矩生成函数的函数，用于统一推导不同假设下的风险界。 |
| Effective number of folds (Keff) | 有效折数，在折间存在相关性时，反映实际独立信息量的折数，公式为Keff = K/[1+(K-1)ρ]。 |
| PAC-Bayesian | PAC-贝叶斯，一种结合贝叶斯后验与PAC学习理论的风险界框架，常用于分析随机预测器的泛化性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅