多任务回归新突破：成对融合让共享系数精准到每个预测变量！
Multitask Regression with Pairwise Fusion
📖 AI 总结
本文研究多任务回归中系数共享模式因预测变量而异的情形：对某个预测变量而言，多数任务可能具有相同系数，少数任务存在差异，且这些例外任务在不同预测变量下并不一致。作者用两个量刻画该结构，即活跃预测变量数目，以及各预测变量下偏离其最常见取值的任务系数总数，并通过对任务间所有成对系数差施加惩罚来估计系数矩阵，在需要变量选择时额外引入组惩罚。所得上界与下界对上述两个量具有相同依赖关系。文章还考察更强设定，即一大组任务共享同一完整系数向量，并在显式样本量条件下证明同一成对估计量能精确合并这些任务，同时允许其余任务保持差异。模拟实验与家庭能源数据展示了从广泛共享到任务特定系数的过渡。
🔑 关键词速览
| 多任务回归 | 同时学习多个相关回归任务，通过共享信息提升各任务预测性能的统计学习方法。 |
| 成对融合 | 通过惩罚任务间所有成对系数差异来促使系数相同或相近的正则化技术。 |
| 活跃预测变量 | 在模型中实际对响应变量有影响的预测变量，其系数非零或具有显著作用。 |
| 组惩罚 | 对一组系数整体施加惩罚的正则化方法，常用于实现变量选择或组水平稀疏。 |
| 系数矩阵 | 在多任务回归中，由各任务对应各预测变量的回归系数组成的矩阵。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅