🔥 今日值得一读
前沿智能体在每个科学基准上都能提升已发表最佳结果，Claude Opus平均相对改进10.4%，加轻量插件后飙到20.1%！
Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
📖 AI 总结
这篇论文提出Agent4Sci测试平台，用于衡量前沿编程智能体在真实科研条件下改进科学机器学习基准模型的能力，覆盖11个领域20个基准。实验显示，当前前沿智能体在所有基准上均能超越已发表最优结果，Claude Opus取得10.4%的平均相对提升，且无运行被标记为学术不端。但这些提升几乎全部来自常规机器学习工程技巧，而非研究层面的领域洞见。轨迹分析揭示三类反复出现的局限：新颖性判断失准、资源利用不足、以及迅速陷入局部工程性试错。加入研究构思、实验管理和定期检查清单等轻量插件技能后，Claude Opus提升至20.1%，Codex从4.4%提升至8.1%，干预手段也更多样且贴合领域。该工作为社区追踪并推动智能体从工程技巧走向领域洞见提供了可复现的评测基础。
🔑 关键词速览
| Agent4Sci | 一个长时程测试平台，用于评估前沿智能体在科学机器学习基准上改进已发表最佳模型的能力。 |
| ML for science | 将机器学习方法应用于科学研究，通常需要结合领域知识来改进科学模型。 |
| Frontier coding agents | 指当前最先进的编程智能体，能够自主执行代码编写与实验等任务。 |
| Novelty miscalibration | 智能体对自身提出的想法或方法的新颖性判断不准确，导致研究层面的创新不足。 |
| Local engineering sweeps | 智能体倾向于在局部进行大量工程性尝试（如超参数调优），而非探索更广泛的研究方向。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅