Inside Prometheus: Meta’s Journey to a Gigawatt-Scale Supercluster

Meta 建成 Prometheus 第一阶段，训练 Muse Wonder 的预训练 goodput >85%，正扩向 ~1M GPU

Meta在俄亥俄州New Albany的吉瓦级超级集群Prometheus首阶段已完成并训练出Muse Wonder等基础模型，目标扩展至约100万GPU。集群由多栋建筑中数十万GPU组成，现部署NVIDIA GB200（Catalina）和GB300（Clemente）两种NVL72平台，后续以Vera Rubin NVL72（San Miguel）扩容。网络采用建筑内基于FBOSS的以太网fabric与后端BAG聚合层连接各建筑。可靠性上，NVL72扩大故障域后以机架内备用GPU、PAFT和分布式检查点恢复；Meta称Muse Wonder预训练goodput超过85%、RL超过90%，MTBI约47k GPU小时，且中断率较早期峰值降低99%。供电用Dynamo Dimmer动态功率封顶以及BBU、CBU、储能应对瞬态，冷却混合AALC与FLC闭环液冷。Meta Superintelligence Labs的下一代模型将推动继续扩容，路易斯安那Hyperion会复用这些设计。

1. 1Muse Wonder 已在 Prometheus 第一阶段完成训练
2. 2NVL72 每域跑 64-GPU 切片，8 卡热备，换卡不停训
3. 3楼内 fabric 单域最多 20,736 GPU，跨楼可达 100 km

为什么重要　给大模型训练集群从业者提供了一线可靠性、NVL72 容错、网络分层与供电冷却的工程参数，可直接用于超大规模训练基建设计。适合　做大模型训练集群、超大规模调度与可靠性工程的工程师与基础设施负责人

来源

engineering.fb.com

发布

2026/10/19