🔥 今日值得一读
小目标数据撬动大模型！元梯度学权重，让嘈杂数据也能训出更强奖励模型
High-Value Training Data from Noisy, Diverse Sources
👨💼 主理人解读 · 为什么值得关注
可自动给海量噪声数据加权，开发者用少量高质量样本即可提升训练数据利用效率。
📖 AI 总结
该论文针对训练数据来源庞杂、质量参差的现实问题，提出一种可扩展的数据加权方法：借助小规模高质量目标数据集，通过训练过程中的元梯度直接优化各训练样本的权重，并进一步学习参数化加权规则，使其能泛化到新样本和流式数据，且可从较小模型迁移至更大模型。作者以奖励建模为典型场景，处理含噪声、对抗性、合成或与目标领域不匹配的偏好数据。结果显示，学习到的数据权重提升了留出集表现，能自动让奖励模型适配专门领域，并使人类监督与合成监督的混合效果优于任一单一来源。该工作为在噪声多样数据中高效提取高价值训练信号提供了可行路径。
🔑 关键词速览
| 数据加权 (Data weighting) | 为训练样本分配不同权重以控制其对训练影响的方法。 |
| 元梯度 (Metagradients) | 通过训练过程计算梯度以优化样本权重或超参数的技术。 |
| 奖励建模 (Reward modeling) | 训练模型以预测人类偏好或奖励信号的过程，常用于对齐大型语言模型。 |
| 参数化加权规则 (Parametric weighting rules) | 用参数化函数表示的样本加权规则，可泛化到新样本并支持模型规模迁移。 |
| 异构数据集 (Heterogeneous datasets) | 包含来自不同来源、领域和质量水平的样本的数据集合。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅