仅需少量重加权样本，风险竟精确等于3-n/d！Lean 4验证上界，5维下11/5锐利匹配。
Weighted Data Selection: Sharp Upper-Half and Five-Dimensional Laws
📖 AI 总结
本文研究有限加权最小二乘问题中，小规模重加权训练支撑集所能保留的风险上界。作者针对最小范数学习器，证明了在特征维度d与样本数n满足⌈3d/2⌉≤n≤2d-1时，风险精确遵循Γ_d(n)=3-n/d这一规律，且该保证覆盖所有观测到的特征秩，并采用保持完整特征张成的选择策略。研究通过平衡单纯形锚点降维、正权重提升与独立线压缩来收紧风险界，并构造平移坐标对达到匹配下界。完整的数据集级上界与紧性构造已在Lean 4中完成形式化验证。在更小预算(d,n)=(5,6)的情形下，作者证明Γ_5(6)=11/5，与由5=3+2得到的单纯形块预测一致，并借助电路覆盖、比较二阶矩与电路平面概率给出尖锐超额6/5，利用极面几何解决共享秩三电路问题。该工作将上述规律统一于中间预算选择问题的一般单纯形块前沿框架中，为加权数据选择的风险刻画提供了精确的理论边界与可验证的形式化保障。
🔑 关键词速览
| 加权最小二乘 | 一种统计回归方法，通过最小化加权残差平方和来拟合模型，权重反映数据点的重要性或可靠性。 |
| 最小范数学习器 | 在欠定系统中选择具有最小范数的解的学习算法，常用于高维统计和机器学习中避免过拟合。 |
| 特征秩 | 数据矩阵的秩，表示特征空间中线性无关方向的数量，影响模型复杂度和泛化能力。 |
| 单纯形块 | 在优化和几何中，指由单纯形结构划分的块，用于简化高维问题中的分析和计算。 |
| Lean 4 | 一种交互式定理证明器和编程语言，用于形式化数学证明和验证计算机辅助推理。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅