Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

Olmo-core 3 开放万亿参数 MoE 训练栈

Ai2 发布 Olmo-core 3，以基于 DDP 的专家常驻路由取代旧 FSDP 权重收集，解决 MoE 扩展时通信与存储成本抵消稀疏收益的问题。官方称在 B300 上同一 MoE 每 GPU 吞吐提升到旧实现的约 2.7倍；系统结合专家并行、流水线并行、分布式优化器，并用 rowwise expert parallelism、GPU 常驻路由、grouped GEMM 降低路由与计算开销，MXFP8 相对 BF16 端到端吞吐提高约 21%，峰值显存下降。官方称跨数百块 B300 的 1.2T 参数模型最高测得 858 TFLOP/s/GPU，DeepEP v2 短容量测试验证了更高总参数配置而非持续训练性能。技术报告还记录 token gerrymandering、专家学习率降低未改善、GPU 计算时间受输入值影响、通信重叠未必加速等发现。该栈将用于下一代采用 MoE 架构的 Olmo，并开放给研究者训练和修改。

1. 1DDP 替代 FSDP，专家常驻 GPU 免权重收集
2. 2MXFP8 受控测试提升吞吐并降低峰值内存
3. 3报告披露路由平衡指标可能误导等训练陷阱

为什么重要　对 AI 基础设施工程师，它提供开放 MoE 训练栈、B300 吞吐与精度实测，以及路由/通信陷阱。适合　AI 训练基础设施与 MoE 模型工程师

来源

allenai.org

发布

2026/10/01