一块GPU就能刷榜！关系预训练提速8.11倍，305秒达标
Speedrunning Relational Foundation Model Pretraining
📖 AI 总结
该论文针对关系型基础模型预训练受算力门槛限制、各实验室配方难以累积的问题，提出以“速通排行榜”方式去中心化搜索而非训练过程。作者推出modded-nanoRT，这是首个面向关系型Transformer的此类排行榜，并通过校准从六个候选数据库中选出留出数据库，使45分钟学习曲线能清晰区分改进与随机种子噪声。其开场配方结合类型化三线性注意力（依据外键路径调节注意力分数与值）、Muon与SIGReg，在单块NVIDIA H200上以305.63秒达到质量目标，比参考实现快8.11倍，并在开发数据库之外的15组对比中胜出13组。该工作降低了关系型预训练研究的参与门槛，提供了可复现的基准、冻结产物与记录运行，有助于配方在社区间累积比较。
🔑 关键词速览
| Relational Transformer | 一种专门处理关系型数据库数据的Transformer变体，能够利用表间外键关系进行建模。 |
| typed trilinear attention | 一种关系算子，根据遍历的外键类型来调节注意力分数和值，增强关系建模能力。 |
| Muon | 一种优化器或训练技术，用于提升模型训练效率（具体细节需参考原文）。 |
| SIGReg | 一种正则化方法，可能用于改善模型泛化或训练稳定性（具体细节需参考原文）。 |
| speedrun leaderboard | 一种排行榜，通过固定问题和开放技术栈，按达到目标质量的挂钟时间对解决方案进行排名，促进去中心化搜索。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅