📖 AI 总结

NVIDIA 在 Megatron Core 中提出了一套实现比特级确定性预训练的工作流，通过记录各 rank 有序张量指纹来定位并修复大规模训练中的非确定性来源。比特级确定性可确保独立运行与断点续训在相同配置下保持完全一致的数值轨迹，从而支持故障复现、损失尖峰调试、系统变更验证以及万亿参数训练的中断恢复。在三个 Nemotron 工作负载上的优化将确定性开销降至约 2%（2432 块 GPU），并在 800 步内维持比特级一致。关键改动包括为分组 GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级调整，在保持并行性的同时恢复确定性。Megatron Core 还通过配方验证、内核测试和模块验证（涵盖 FP8 与 FP4 等并行配置）防止回归。