🔥 今日值得一读
20个大模型挑战《杀戮尖塔》最高难度，最强模型首幕媲美专家却越打越崩！
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
📖 AI 总结
本文提出 SpireBench，一个面向智能体大语言模型长时程战略推理能力的评测基准，以商业卡牌构筑游戏《杀戮尖塔》为测试环境。研究让 20 个大型语言模型在游戏最高难度下完成完整对局，结果显示前沿模型已能超越启发式基线并达到普通人类玩家水平，但仍显著落后于专家玩家。差距随对局推进而扩大：最强模型在第一章的通关率与专家相当，随后逐渐掉队。模型间的核心差异体现在单场战斗的处理能力上，且所有模型都存在全局风险误判，倾向于保守保留生命值而非以血量换取成长。通过系统性地重命名全部游戏术语，研究发现模型的部分表现依赖其对游戏的先验知识；同时模型无法从跨对局写入的记忆中获益，这些记忆往往错误且过于谨慎。该基准为定位智能体长时程失败的原因提供了新工具。
🔑 关键词速览
| SpireBench | 一个用于评估智能体长时程战略推理能力的基准测试，基于完整版《杀戮尖塔》游戏。 |
| Slay the Spire (StS) | 一款商业卡牌构筑类Roguelike游戏，玩家通过构建卡组和策略在随机生成的关卡中攀登高塔。 |
| Agentic Large Language Models | 具备自主决策和行动能力的大语言模型，能够与环境交互以完成复杂任务。 |
| Long-Horizon Strategic Reasoning | 在长时间跨度内进行战略规划和推理的能力，需要模型考虑早期决策对长期结果的影响。 |
| Heuristic Baselines | 基于简单规则或经验法则的基线方法，用于作为性能比较的参考标准。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅