SPOKE让4B小模型打扑克平均可利用度降到0.213，六人桌top-1一致率飙至0.775！
Teaching AI Agent to Play Poker Strategically Through Preference Optimization
📖 AI 总结
该研究探讨紧凑型AI智能体能否在隐藏信息条件下展现策略性行为，以及偏好优化能否超越静态与零样本策略。作者先评估静态基线及SmallThinker、Qwen3、Gemma-3三个冻结语言模型，发现其在精确博弈与六人桌评估中表现差异显著。为此提出SPOKE方法，融合教师相对价值惩罚、策略锚定、风险约束与结构化推理监督，并与SFT、DPO、GRPO、GSPO对比。在SmallThinker-4B-A0.6B策略的三次运行中，SPOKE在Kuhn和Leduc中取得最低平均可利用度（0.213和1.081），六人桌top-1一致率最高（0.775），教师KL与SFT相当（0.522对0.523）。结果初步表明，策略性偏好优化可在保持教师一致行为的同时提升策略质量。
🔑 关键词速览
| SPOKE | 一种结合教师相对价值惩罚、策略锚定、风险约束和结构化理由监督的策略偏好优化方法。 |
| 可利用度 (Exploitability) | 衡量策略被对手利用程度的指标，值越低表示策略越接近纳什均衡。 |
| KL锚定均衡 (KL-anchored Equilibrium) | 通过KL散度约束策略更新，使其在优化过程中保持与教师策略的均衡一致性。 |
| 偏好优化 (Preference Optimization) | 利用人类或教师偏好数据直接优化策略模型的方法，如DPO、GRPO等。 |
| 隐藏信息 (Hidden Information) | 博弈中部分信息不可见的状态，如扑克中对手的底牌。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅