59个生物医学数据集实测：花哨预条件器全翻车，原始AdamW才是最强王者！
Do Existing Preconditioners Improve Biomedical Tabular Foundation Learning? An Empirical Study on TabPFN Optimization
📖 AI 总结
该研究系统考察了现有预条件优化策略能否提升生物医学表格基础模型的微调效果。作者以TabPFN v2.5为对象，在涵盖阿尔茨海默病、乳腺癌、精神分裂症、显著记忆担忧及KEEL、UCI等基准的59个生物医学数据集上，对比了五种基于AdamW的预条件方法，并从预测性能、计算效率和统计显著性三方面进行评估。结果显示，原始AdamW优化器在整体表现和统计排名上始终最优，而现有曲率感知预条件器未能带来可靠改进。这一发现表明，通用预条件方法难以充分刻画生物医学表格学习的优化特性，提示未来需针对医疗场景设计专属的预条件器，为表格基础模型在生物医学领域的优化研究提供了实证依据与方向。
🔑 关键词速览
| TabPFN | 一种基于先验数据拟合网络的表格基础模型，专为小样本表格分类任务设计。 |
| AdamW | 一种常用的自适应优化器，在 Adam 基础上引入解耦权重衰减以提升泛化性能。 |
| Preconditioning | 预条件技术，通过变换梯度或参数空间来加速优化收敛并改善训练稳定性。 |
| Biomedical Tabular Learning | 面向生物医学领域结构化表格数据的机器学习，常用于疾病诊断与生物标志物分析。 |
| Curvature-aware Preconditioner | 曲率感知预条件器，利用损失函数二阶几何信息（如 Hessian）来调整优化方向的策略。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅