🔥 今日值得一读
告别模式崩溃！GFlowNets合成数据让LLM对话多样性飙升，训练信号碾压强化学习基线
Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks
👨💼 主理人解读 · 为什么值得关注
解决合成对话数据多样性不足的问题，开发者可用其生成更丰富的后训练数据。
📖 AI 总结
该研究针对大语言模型后训练中合成对话数据多样性不足、易坍缩至主导模式的问题，提出利用生成流网络（GFlowNets）生成多样化高质量合成专家对话的方法。作者训练GFlowNets基于关键交互特征（如困惑情节动态、支架式指令平衡）的高斯混合密度来生成潜在对话结构，使采样出的专家策略比例与训练数据中的分布一致。在辅导对话与情感支持对话两个结构迥异的领域上，该方法在保真度、模式覆盖度和真实性之间取得了优于强化学习及端到端LLM基线的平衡，且不复制训练数据。在三个下游结果预测任务中，基于GFlowNet合成对话训练的分类器提供了更强的训练信号，表明该方法能有效缓解模式坍缩，为合成专家对话数据生成提供了新思路。
🔑 关键词速览
| Generative Flow Networks (GFlowNets) | 一种生成模型，学习从目标分布中采样，能够生成多样化且按概率比例分布的样本。 |
| Mode Collapse | 生成模型倾向于只生成少数几种模式的数据，而忽略其他模式，导致多样性低。 |
| Gaussian Mixture Density | 用多个高斯分布的混合来建模连续变量的概率密度，常用于表示多模态分布。 |
| Scaffolding Directive Balance | 在对话中，教师或支持者提供指导性指令与让学习者自主探索之间的平衡。 |
| Confusion Episode Dynamics | 对话中学习者出现困惑情绪及其演变过程的动态特征。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅