Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes

DGX Spark 官宣 8 节点集群支持，本地 1TB 统一内存整跑满血 753B GLM 5.3

NVIDIA 在 GTC Berlin 宣布 DGX Spark 正式支持八节点集群，统一内存扩至 1 TB，Z.ai 全量 GLM 5.3（753B）等此前四节点装不下的前沿模型得以在桌面本地运行。针对张量并行解码的 all-reduce 瓶颈，官方为交换机拓扑打造的集合通信后端 RoCEnante 用单个 kernel 做全对全交换加本地归约、以更多数据搬运换更低延迟，实测八节点解码吞吐达单机的 4.43 倍，已并入 FlashInfer 并可自动回退 NCCL，高并发或环形场景仍应选 NCCL。官方还用 Qwen3.8-27B 实测拓扑取舍：物理环形是低成本四节点推理首选，拆分集群则必须上交换机。多模型编排靠 NeMo Switchyard：轻量分类器把简单请求路由给 MiniCPM5 2B、难题留给 Qwen3.8，官方称工具基准打平纯 Qwen 配置，多数流量转小模型后总吞吐最高约 3 倍。训练侧从零预训练 nanochat 在八节点取得 7.79 倍加速、近乎线性，代码在 GitHub；部署可用 NVIDIA Sync 的 Cluster Assistant 组网，官方称其八节点支持年底前到位，另有 vLLM 多机推理指南。

1. 18 节点聚合 1TB 统一内存，约 470GB 的满血 GLM 5.3 本地整跑
2. 2RoCEnante 后端把 8 节点解码扩展从 3.05x 提到 4.43x
3. 3nanochat 预训练 8 节点近线性，加速 7.79x、扩展效率 97.4%

为什么重要　给出 8 节点私有部署的官方首套基准：解码 4.43x、训练近线性 97.4%，拓扑与后端选型可直接引用。适合　私有化推理/训练基础设施工程师与本地大模型选型决策者

来源

developer.nvidia.com

发布

2026/10/23

作者

Shara Tibken