失败记录反让AI更爱重蹈覆辙，8个小模型实测增益-1.38！
Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail?
📖 AI 总结
该研究考察大语言模型在游戏场景中收到失败反馈后是否会重复刚失败的动作。作者在推箱子、四子棋和黑白棋中构建探针题目，将失败动作及其错误信息写入对话记录后让模型再次决策。对8个指令微调模型（135M至1.7B参数）的汇总结果显示，该记录反而提高了模型重犯失败动作的概率，纠正增益为每token负1.38纳特，且这一效应主要通过动作的表面形式起作用，仅出现在非法动作上，对合法但致败的动作不明显，也并非所有模型都如此。探索性分析发现，记录出现后失败动作的对数概率几乎不再取决于其原有概率（斜率0.18），原本不会选择的动作变得更可能被贪心解码输出，而原本倾向的动作虽概率下降，贪心解码仍有38%重复。省略动作字符串、仅描述失败的反馈则能保留模型原有偏好。该反转在OLMo 2 1B基础模型中已存在，经DPO阶段基本消除；RAGEN默认模型在其自身推箱子格式中、未经强化学习即出现反转。“不要重复”指令无效，干净重试是最差方案，解码器禁用只能阻止完全重复而不能阻止非法操作。
🔑 关键词速览
| LLM agent | 基于大语言模型的智能体，能够感知环境并执行动作。 |
| tool calling | 模型调用外部工具或函数的能力，常用于扩展LLM的功能。 |
| Sokoban | 推箱子游戏，一种经典的益智游戏，玩家需将箱子推到目标位置。 |
| DPO | 直接偏好优化，一种用于对齐语言模型与人类偏好的训练方法。 |
| greedy decoding | 贪婪解码，一种文本生成策略，每一步选择概率最高的词。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅