📖 AI 总结

本文提出 Echo，一种面向大语言模型训练与推理的 4 比特张量并行通信方案。张量并行每层末尾的全归约操作位于两次依赖的矩阵乘法之间，其开销无法被隐藏，且随算力增长超过互连带宽而愈发突出。将传输精度从 16 比特降至 4 比特理论上可带来近 4 倍加速，但全归约需对携带的数值求和，舍入会在每次调用中引入误差，而模型质量取决于误差在层间的累积方式，现有方法却只单独处理每次调用。Echo 以 4 比特传输数据、高精度执行求和，使每个数值在任意 GPU 数量下每次调用至多被量化两次；求和过程可揭示每次注入的误差，Echo 将其反馈至后续调用，使旧误差相互抵消而非累积，并证明累积误差与网络深度无关、始终有界。在 A100 上，Echo 对 1 GB 消息比 16 比特 NCCL 全归约快 2.09 倍，空闲互连下首 token 时间最高提速 1.16 倍、训练步提速 1.09 倍，背景流量增大时分别可达 1.44 倍和 1.38 倍。在 Qwen3-8B 上，其七项基准平均精度与 16 比特推理相差不超过 0.4 分；100 亿 token 预训练的最终损失比 16 比特训练高不到 0.9%。该方案无需 FP8 或 FP4 硬件支持。

🔑 关键词速览