🔥 今日值得一读
实时游戏不等人！GPT-6.1-sol暂停时碾压Jev，游戏一开跑就落后，TORSI两轮把Jev得分从13.51拉到24.19！
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
📖 AI 总结
本文提出RealtimeBench基准，包含六类游戏中的180项任务，用于在游戏持续运行、推理不暂停的条件下评估LLM智能体。配对实验显示，GPT-6.1-sol在游戏暂停时表现优于速度更快的Jev，但在游戏持续运行时反被超越，说明推理延迟会直接影响任务成败。为此作者提出双时间尺度离线递归自我改进方法TORSI：慢速教师在不执行任务的间隙研究失败案例并在暂停环境中验证修正，再为快速学生编写可复用指令，学生在游戏过程中无需调用教师即可行动，更新是否采纳由验证分数决定。两轮迭代将Jev的平均测试得分从13.51提升至24.19（0至100进度量表），六类游戏均有改善，且这些指令无需重新调参即可提升另外三个模型的平均得分。该工作指向实时智能，即通过跨时间尺度组织思考、学习与行动，使强大的LLM智能体在持续变化的世界中保持有效。
🔑 关键词速览
| RealtimeBench | 一个包含六种游戏类型、180 个任务的基准测试，用于在推理过程中环境持续运行的情况下评估 LLM 智能体。 |
| TORSI | 双时间尺度离线递归自我改进方法，由慢速教师研究失败并编写指令，快速学生无需教师调用即可执行。 |
| LLM 智能体 | 基于大型语言模型、能够进行推理、调用工具并执行交互任务的智能体系统。 |
| 配对评估 | 在相同任务上对比不同模型或方法性能的评估方式，此处用于比较游戏暂停与持续运行下的表现。 |
| 实时智能 | 指智能体在持续变化的环境中，通过跨时间尺度组织深思、学习与行动来保持有效性的能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅