developer.nvidia.com·2026/10/13·Tanya Lenz
NVIDIA 宣布将 NVIDIA Run:ai 平台全量开源,作为 NVIDIA DSX AI Factory 的开放基础,让生态伙伴与 AI 云能提升吞吐与 GPU 利用率、更快推出差异化方案。发布含四个可独立采用的模块:KAI Scheduler 是 Kubernetes 原生 GPU 调度引擎,支持 gang 调度、公平份额、拓扑感知与 GPU 共享,已捐给 CNCF 作 Sandbox 项目;GPU Fractioning Operator 改用 CUDA 13.4 原生切片,让多负载共享单卡且显存硬隔离,取代旧私有实现并兼容其他调度器;KAI Resource Management 把 GPU 容量按部门与项目层级分配、保障并共享,还管理异构节点池;Workload Map 用 Go 库把 PyTorchJob、RayCluster 等对象统一为一等对象,免于为每个 CRD 硬编码集成。采用途径是 GitHub 源码或 NGC 社区产品的 Helm chart,后者免订阅但不含企业支持;Crusoe、Mirantis、Nebius 等 8 家伙伴已整合进各自产品,企业级部署仍可经 Mission Control 等渠道获取商用支持版。配套的 Model Streamer 并发读取权重以缩短冷启动,已进入 vLLM 与 SGLang 上游,官方称在 Azure 比默认加载器快 3–6 倍;Grove 编排多组件推理等图状负载,是 NVIDIA Dynamo 的可独立使用模块。
为什么重要 可免费部署生产级GPU编排;KAI Scheduler做拓扑感知调度,GPU Fractioning Operator做CUDA 13.4原生分片,直接服务训练/推理集群利用率与配额治理。适合 负责 GPU 集群调度、Kubernetes AI 平台、MLOps 基础设施的工程师与平台团队
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| GPU 分片方式 | Run:ai 私有实现,需管理员预配置 | CUDA 13.4 原生分片,scheduler-agnostic | |
| 获取社区产品 | 需订阅或支持 | NGC Community Product,无需付费订阅或企业支持 |
NVIDIA 将完整的 NVIDIA Run:ai 平台以开源软件形式提供,使客户、开发者和生态伙伴能够获得…… NVIDIA 正把完整的 NVIDIA Run:ai 平台作为开源软件发布,让客户、开发者和生态伙伴获得生产级 AI 负载与 GPU 编排能力。
此次发布扩展了 NVIDIA DSX AI Factory 平台,将 NVIDIA Run:ai 确立为开放基础,使更广泛的生态能够把差异化解决方案推向市场……(来源)
NVIDIA is making the full NVIDIA Run:ai platform available as open source software, giving customers, developers, and ecosystem partners access to...
EVIDENCE / METHODS
要点
NVIDIA 将完整 Run:ai 平台以开源软件形式发布,并纳入 DSX AI Factory Platform