📖 AI 总结

PyTorch 团队发布 Zephon，为 TorchTitan 带来弹性确定性数据加载能力。文章指出，数据配比、过滤与分词方式等数据侧调整是提升模型性能的关键手段，但传统流程需对语料做昂贵的离线预处理，且多数实验不会产出更优模型，造成大量算力与存储浪费。更严重的是，标准数据加载器的样本顺序会随 GPU 数量变化，导致同一实验在不同硬件配置下结果不可复现，这一问题在智能体大规模并行跑实验时尤为突出。实验显示，1B 参数模型在 16 GPU 上训练至第 150 步后，分别恢复到 8、32、64 GPU 继续训练，标准加载器产生四条不同的损失曲线，而 Zephon 的曲线完全重合，每个全局批次的 SHA-256 哈希均与基线一致。此外，从零训练 20B token 时，模型 DCLM Core v1 分数因 GPU 数量不同最多相差 0.82 分。Zephon 的意义在于让训练结果与硬件规模解耦，提升实验可复现性与资源效率。