递归合成数据竟致筛选崩溃，干净标签该留的变量全丢了！
Screening Collapse under Recursive Synthetic Data
📖 AI 总结
该研究探讨了递归合成数据训练对变量筛选阶段的影响，提出了“筛选崩溃”这一概念。当每一代模型为下一代生成伪标签时，筛选器所依据的目标会逐渐偏离原始响应变量，导致活跃变量与非活跃变量之间的得分差距被侵蚀甚至反转，使筛选过程丢弃了在干净标签下本应保留的变量。作者在高斯线性模型与最小范数递归生成器框架下，建立了有限样本筛选界，刻画了后期世代的信息损失极限，并推导了极小极大不可能性结果。研究进一步指出，筛选崩溃会先于并加剧通常的模型崩溃：遗漏变量带来的协方差加权损失无法通过仅基于所选变量的重拟合消除，而递归标签还会恶化保留变量上的估计精度。在缓解策略方面，固定比例保留真实标签虽能维持干净标签成分，但分辨率固定不变；数据累积策略则可在合并目标保持正边际且样本量增长足以分辨时避免筛选崩溃。基因表达数据上的数值实验支持了上述理论发现。
🔑 关键词速览
| 筛选崩溃 (Screening Collapse) | 递归合成数据训练中，因伪标签目标漂移导致变量筛选阶段丢弃本应保留的变量的现象。 |
| 递归合成数据训练 (Recursive Synthetic-Data Training) | 模型生成合成数据并用于训练下一代模型，如此迭代循环的训练范式。 |
| 边际筛选器 (Marginal Screener) | 一种基于变量与目标之间边际相关性对变量进行排序和筛选的简单方法。 |
| 目标漂移 (Target Drift) | 递归过程中，伪标签目标逐渐偏离原始响应变量的现象。 |
| 极小极大不可能性 (Minimax Impossibility) | 在极小极大框架下证明不存在能同时达到最优风险下界的估计方法的结果。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅