本文提出一种面向因果表格基础模型的预训练方法——波动监督预训练(FSP),旨在解决现有潜在效应监督偏向后验收缩、无法直接编码固定部署人群中重复采样响应的问题。FSP 为每张合成表同时标注平均处理效应及其有效影响函数波动,部署阶段仍保持单次冻结前向传播。理论分析表明,在特定路径上存在端点相变:任何固定参数小于1时标签歧义保持 n 的负一次方量级,而完整波动使高斯标签可观测,并将最优有限分层因果标签预测风险降至 n 的负二次方量级。作者给出一个有限预训练界,综合标签、网络、片段采样与优化误差,其采样缺陷可控制固定机制偏差、均方误差、方差、高斯近似及学生化覆盖率。实验显示,在原始行列骨干网络上,FSP 相较潜在监督将大效应偏移下的 RMSE 降低69.8%,相较已发布的 CausalPFN 检查点降低39.5%,并通过连续协变量、已知效应半合成及两项随机研究评估,区分了采样律保真度与点风险收缩,同时暴露了两个学习头在弱重叠情形下的误差。
| 波动监督预训练 (FSP) | 一种因果表格预训练方法,用平均处理效应和有效影响函数波动标记合成表格,使模型学习重复抽样响应。 |
| 有效影响函数 (Efficient Influence Function) | 在因果推断中用于构建有效估计量的函数,其波动反映了估计量对数据扰动的敏感度。 |
| 平均处理效应 (ATE) | 在目标群体中,处理组与对照组结果平均差异的因果估计量。 |
| 因果表格基础模型 (Causal Tabular Foundation Models) | 针对表格数据设计的预训练模型,旨在摊销因果效应估计,即通过一次训练适应多种因果推断任务。 |
| 学生化覆盖 (Studentized Coverage) | 一种区间估计评估指标,使用学生化统计量构造置信区间并检查其覆盖真实参数的概率。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅