NVIDIA 宣布正式支持八节点 DGX Spark 集群,将统一内存扩展至 1 TB,使开发者能在本地运行前沿级大模型,例如 Z.ai 的完整版 GLM 5.3(753B 参数)。文章给出了多组基准数据:在交换机连接的集群上,Spark 优化的集合通信后端 RoCEnante 将张量并行解码的 all-reduce 延迟降低,八节点解码加速比达 4.43 倍,而无该后端时为 3.05 倍;使用 Qwen3.8-27B(NVFP4)时,解码吞吐从单节点约 12 tokens/s 提升至八节点约 52 tokens/s。NVIDIA NeMo Switchyard 可在共享集群的模型池之间路由请求,在工具调用基准上保持与纯 Qwen 方案相当的质量,同时在多数流量转向小模型时将总吞吐提升至多 3 倍。从零预训练 nanochat 模型在八节点上实现 7.79 倍加速、97.4% 扩展效率,接近线性。这些结果说明桌面级集群已能支撑前沿模型推理、多智能体编排与高效小模型训练。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅