ROAR 是一项旨在统一并分析异构 AI 驱动研究系统(ADRS)输出的基础设施。由于 ADRS 的每次运行都是对庞大解空间的高成本搜索,可靠评估需要大量运行,但相关数据因团队孤立、框架输出格式不一而长期碎片化,缺乏跨问题、跨系统聚合比较的共享设施。ROAR 通过关系模式与解析层,在保留数据血缘和时间结构的前提下归一化异构输出,并支持在不修改模式的情况下接入新系统。研究团队据此构建了来自多个 ADRS 的 900 余次运行语料库,发现相同配置的运行可能收敛到不同分数,许多运行在早期即获得大部分收益,且将先验解纳入搜索过程的策略效果因问题而异。研究还表明该语料库可用于配置 ADRS 运行,具备实际可操作性。ROAR 的意义在于首次提供统一异构运行数据的基础设施,使跨系统、跨团队的搜索行为结构得以显现。
| AI-driven research system (ADRS) | AI驱动研究系统,指利用人工智能自动进行科学探索或问题求解的系统。 |
| ROAR | 本文提出的系统,用于统一和分析异构AI驱动研究系统的运行数据。 |
| relational schema | 关系模式,一种数据库结构,用于定义数据表、字段及关系。 |
| data lineage | 数据谱系,描述数据从产生到当前状态的来源和变换历史。 |
| problem landscape | 问题景观,指优化问题中解空间的地形结构,反映解的优劣分布。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅