🔥 今日值得一读
16种PI配置实测：信息密集轨迹让LLM智能体训练增益最大！
Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
👨💼 主理人解读 · 为什么值得关注
多轮智能体训练中，可先预测哪种特权信息构造最有效，避免盲目试错，节省自蒸馏调参成本。
📖 AI 总结
该研究针对在线自蒸馏（OPSD）中特权信息（PI）被当作固定设计选择、其内容与构建方式影响不明的问题，系统评估了16种PI配置，覆盖三个多轮智能体基准和三个不同规模与推理模式的学生模型。关键发现是：PI有效性取决于其内容、生成来源和学生模型——信息密集的轨迹和由更强生成器产出的PI通常带来更大收益，而思考型模型的受益较不稳定。为在训练前评估PI，作者比较了PI效用与两个基于KL的指标（采样token反向KL及错误步KL对比），发现KL指标比易受信息泄漏扭曲的PI效用更稳定地反映训练后表现；按错误步KL对比选择各任务的PI也优于随机选择，在候选差异大时提升最明显。此外，有效PI与GRPO结合后仍有益，联合目标可超过强GRPO基线。研究为OPSD中PI的构建与评估提供了实用指导。
🔑 关键词速览
| On-policy self-distillation (OPSD) | 在线策略自蒸馏，一种让模型从自身生成的轨迹中学习、无需独立教师模型的训练方法。 |
| Privileged information (PI) | 特权信息，指训练时可用但推理时不可用的额外信息，如专家动作或详细推理过程。 |
| Multi-turn agentic settings | 多轮智能体设置，指智能体在环境中进行多轮交互、包含动作和观察的任务场景。 |
| GRPO | 组相对策略优化，一种基于策略梯度的强化学习算法，常用于大语言模型的微调。 |
| KL-based metrics | 基于KL散度的指标，用于衡量两个概率分布之间的差异，此处用于评估特权信息的效用。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅