🔥 今日值得一读
RL训练推理提升竟是思维泄漏！Qwen3模型被曝只是偷偷切回思考模式
The Thinking Leakage in Reinforcement Learning for LLMs
📖 AI 总结
本文研究混合推理模型（如Qwen3系列）在NO-THINK模式下进行强化学习后推理能力提升的来源。作者用GRPO方法训练Qwen3-1.7B、4B和8B模型，发现准确率提升的同时，回答变得更长、更具反思性，被原始模型判定为更接近其思考模式，内部激活也向THINK模式偏移。进一步从权重、激活和注意力头层面分析表明：加大RL更新会激发THINK模式行为并逼近其准确率但无法超越；在Qwen3-8B中，用原始模型值替换与THINK相关的低维激活子空间可消除大部分RL收益，反向替换则可将收益转移至原始模型；RL引起的偏移经由读取空think块的注意力头传递。作者还指出GRPO训练信号中优势加权更新偏好的回答更接近THINK模式，相应梯度步会将模型推向THINK状态。这表明NO-THINK模式下的收益很大程度上是重新激活了原始模型已有的推理能力，而非习得新的推理行为。
🔑 关键词速览
| 思维泄漏 (Thinking Leakage) | 指在 NO-THINK 模式下进行强化学习时，性能提升主要源于重新激活了原始模型 THINK 模式的推理能力，而非真正学习到新的推理行为。 |
| GRPO (Group Relative Policy Optimization) | 一种用于大语言模型强化学习的策略优化算法，通过组内相对比较来估计优势并更新策略。 |
| THINK 模式 / NO-THINK 模式 | 混合推理模型（如 Qwen3）的两种工作模式，通过聊天模板 token 切换：THINK 模式显式生成思考过程，NO-THINK 模式直接输出答案。 |
| 激活子空间 (Activation Subspace) | 模型内部激活空间中的一个低维子空间，其方向与特定功能（如 THINK 模式）相关，替换该子空间的值可影响模型行为。 |
| 注意力头 (Attention Head) | Transformer 模型中多头注意力机制的单个头，负责从输入中提取特定类型的信息；本文发现读取空 think 块的注意力头参与了 RL 引起的模式偏移。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅