GEAR蒸馏术：表格模型性能暴涨2.4点，还能跑在CPU上！
GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models
👨💼 主理人解读 · 为什么值得关注
通过两阶段蒸馏框架将表格基础模型压缩为轻量MLP或树模型，降低推理延迟和内存开销，适合大规模部署。
📖 AI 总结
本文提出GEAR框架，一种针对表格基础模型（TFM）的两阶段蒸馏方法，旨在解决其上下文依赖推理带来的高延迟和内存开销问题。GEAR将TFM蒸馏为轻量级MLP或树模型，可在普通CPU上部署。第一阶段利用合成协变量作为教师查询点，基于软标签训练学生模型，扩展数据覆盖；第二阶段通过真实标签和袋外教师预测重新锚定学生模型至目标分布，避免自标注泄漏。实验表明，两阶段MLP在二分类任务上AUC提升1.81至2.00点，多分类任务提升1.19至1.35点，且优于仅用真实数据的蒸馏方法。该方法还显著降低推理时间（57至2866倍）和峰值内存（1.9至3.3倍），同时保持较高AUC，展示了良好的实用性和泛化能力。
🔑 关键词速览
| Tabular Foundation Models (TFMs) | 表格基础模型，通过上下文学习在表格数据上实现强性能的大型预训练模型。 |
| Distillation | 蒸馏，将大型教师模型的知识迁移到小型学生模型的技术。 |
| In-context learning | 上下文学习，模型根据输入中的示例直接进行预测，无需微调。 |
| Out-of-fold predictions | 折叠外预测，在交叉验证中，使用未参与训练的数据生成的预测，用于避免泄漏。 |
| AUC | ROC曲线下面积，衡量分类模型性能的指标，值越高越好。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅