智能体长时程任务大升级：77个任务横跨13领域，GPT-6-astra以0.69密集奖励登顶！
Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress
📖 AI 总结
本文提出 Long-Horizon-Terminal-Bench 2.0（LHTB 2.0），一个面向长时程终端任务的评测基准，旨在衡量智能体在扩展工作流中能否持续取得进展，而非仅以最终状态是否通过作为二元判定。该版本保留原有46个任务，修复任务与评测基础设施缺陷，并扩展31个任务，最终涵盖13个领域、8种任务类型共77个任务。扩展任务通过系统化重建流程生成：从可运行的科学或工程产物出发，用参数化参考实现生成多场景，公开6个作为行为证据，保留3个用于评测，并以密集进展阶梯奖励部分进展、防止记忆公开输出。评测时长由90分钟延长至3小时，每30分钟记录验证器检查点。在15个前沿模型的1145次模型-任务运行中，GPT-6-astra以密集平均奖励0.69领先，GPT-5.6-sol为0.67。在30个重建任务上，二元验证器平均得分仅0.221，而密集阶梯得分达0.653，表明仅看结果的评测会丢弃大量中间进展。该基准为研究智能体数小时级可靠执行提供了更广、更稳健且过程感知的测试平台。
🔑 关键词速览
| Long-Horizon-Terminal-Bench (LHTB) | 一个用于评估智能体在长时程终端任务中持续进展能力的基准测试套件。 |
| 过程奖励 (Process Rewards) | 根据智能体在任务执行过程中取得的中间进展给予的奖励，而非仅依据最终结果。 |
| 密集进展阶梯 (Dense Progress Ladders) | 一种细粒度的奖励机制，用于奖励部分进展并防止对公开输出的记忆。 |
| 重构任务流水线 (Reconstruction-Task Pipeline) | 一种系统化生成扩展任务的方法，从可运行制品出发，通过参数化实现生成多个场景并划分评估集。 |
| 验证器检查点 (Verifier Checkpoints) | 在评估过程中定期记录的验证状态，用于直接测量单次运行中的持续进展。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅