Nums AI 发布了表格基础模型 Causilo,支持分类与回归任务,提供 scikit-learn 接口,代码采用 Apache-2.0 许可,预训练权重已在 Hugging Face 开放。该模型采用上下文学习机制,调用 fit 时不更新预训练权重,而是将训练数据作为上下文,通过一次前向传播完成预测。据其 TabArena 提交信息,Causilo 仅使用合成数据预训练,未接触任何 TabArena 数据集,却在单模型分类和回归两项任务中均取得最高 Elo 评分。架构上分为精炼、压缩和上下文学习三个阶段,通过列阶段与行阶段交替处理特征组,并利用交叉注意力将计算成本控制为随特征数线性增长。目前该模型可用于研究和评估,商业及生产部署需另行获得授权。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅