🔥 今日值得一读
LLM零和博弈自对弈新突破：合成游戏从3个扩展到336个，推理基准从45.5飙到64.9！
GameSmith: Scaling Zero-Sum Self-Play with Synthesised Games
👨💼 主理人解读 · 为什么值得关注
可用于生成大量可验证博弈任务来后训练LLM，开发者能借此提升模型的通用推理能力。
📖 AI 总结
GameSmith 针对大语言模型后训练中双人零和博弈自对弈的两个扩展瓶颈——游戏供给不足与优势估计器受限于特定游戏——提出了一套可规模化的解决方案。该方法利用大语言模型在奖励、观测与隐藏信息代码固定的模板内合成新游戏，并通过种子配对回放与独立重实现进行双重验证，进而扩展出编码、规则和规模变体，最终从三个 SPIRAL 模板生成 29 个游戏族中的 26 个新游戏及 336 个经验证的变体。训练上，模型先蒸馏自更大教师模型（Qwen3-32B）在这些游戏上的自对弈，再使用优势估计器 CRAB 进行自对弈强化学习，该估计器基于对局面期望回报的收缩估计来为每个决策分配信用，且适用于所有变体。在 Qwen3-4B-Base 上，蒸馏将 13 项基准的平均 pass@1 从 45.5 提升至 62.5，超过同预算下三个 SPIRAL 游戏的表现，结合 CRAB 自对弈后进一步达到 64.9。该结论在不同模型上保持一致，且迁移效果随游戏族数量增加而增强，表明合成游戏能够有效扩展零和自对弈并提升通用推理能力。
🔑 关键词速览
| 零和博弈 | 一种博弈类型，其中一方的收益恰好等于另一方的损失，总收益为零。 |
| 自我对弈 | 智能体通过与自己或自己的副本进行对弈来生成训练数据并提升策略的方法。 |
| 优势估计器 | 在强化学习中用于估计某个动作相对于平均情况有多好的函数，常用于策略梯度方法。 |
| CRAB | 本文提出的一种优势估计器，通过收缩估计每个决策位置的预期回报来评估决策。 |
| SPIRAL | 本文中提到的三个模板游戏家族，用于生成新游戏变体。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅