随机特征让分布回归省算力，41个真实数据集验证，精度还更高！
Scalable and Adaptive Distribution Regression via Random Features
📖 AI 总结
该论文研究分布回归问题，即学习从概率分布到响应变量的映射，这一框架统一了核方法、多示例学习和集合值学习。针对传统核分布回归计算代价高且对核选择敏感的问题，作者基于随机特征近似提出了随机特征分布回归（RaDR），并在两阶段采样下给出有限样本分析，通过扰动分析区分分布级采样、包内有限采样和随机特征近似三者的影响，建立了保持精确两阶段核分布回归超额风险上界阶数所需的特征预算条件。在此基础上，作者进一步提出自适应随机特征分布回归（A-RaDR），以统一评分引导框架按下游学习目标自适应分配随机特征。在合成基准和41个真实数据集上的实验表明，RaDR在大幅降低计算成本的同时保持有竞争力的预测性能，A-RaDR则进一步提升学习精度并保留加速效果，为自适应、可扩展的分布学习提供了兼具实用性与理论基础的框架。
🔑 关键词速览
| 分布回归 (Distribution Regression) | 学习从概率分布到响应变量映射的机器学习任务，常用于处理集合值或分布值数据。 |
| 随机特征近似 (Random Feature Approximation) | 通过随机投影近似核函数的技术，可降低核方法的计算复杂度。 |
| 两阶段采样 (Two-stage Sampling) | 分布回归中的采样过程：先采样分布，再从每个分布中采样样本（包）。 |
| 超额风险 (Excess Risk) | 模型风险与贝叶斯风险之间的差距，衡量学习算法的泛化性能。 |
| 自适应随机特征分布回归 (A-RaDR) | 本文提出的方法，根据下游任务目标自适应分配随机特征，以提高学习精度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅