神经过程新突破：树提升+随机效应分解，表格元学习性能超越标准NP！
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
📖 AI 总结
这篇论文提出NPBoost，一种将神经过程（Neural Processes）与梯度提升树相结合的元学习扩展方法。作者从元学习与混合效应模型的层次化共性出发，将结构化响应变异分解为两部分：跨任务共享的树提升固定效应，以及捕捉任务间随机变化的神经过程随机效应，并通过提升算法联合训练二者，让神经过程学习任务特定的残差结构，树集成估计跨任务的共同模式。在合成与真实表格元学习任务上的实验表明，当共享结构包含不连续或其他不规则模式时，该分解方法优于标准神经过程。其意义在于突破了以往神经过程研究多聚焦网络架构改进的思路，为元学习提供了一种基于统计建模视角的新扩展路径。
🔑 关键词速览
| Neural Processes (NPs) | 一类基于神经网络的元学习模型，能够隐式学习随机过程并从小样本上下文中快速适应新任务。 |
| NPBoost | 本文提出的方法，将神经过程与梯度提升树结合，分解任务共享的固定效应和任务特定的随机效应。 |
| Fixed Effects | 在混合效应模型中，表示所有任务共享的、不随任务变化的固定参数或模式。 |
| Random Effects | 在混合效应模型中，表示任务间随机变化的、任务特定的效应，通常假设服从某种分布。 |
| Boosting | 一种集成学习技术，通过迭代地训练弱学习器并加权组合，逐步提升模型性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅