sglang v0.5.21

sglang v0.5.21 发布，779 个 PR；radix cache 默认切 Rust core

sglang v0.5.21 合并 779 个 PR，新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6、Ling-3.0-flash-VL 等 LLM/VLM 以及 DiffusionGemma、FLUX 3 Action、Ming-Image 等扩散模型；PD 实例可在 prefill/decode 间运行时切换，prefix cache 默认改用 Rust core，DeepSeek-V4.1 长提示首 token 快 22%，Kimi K3 PD 预填吞吐提升 20.6%，GLM-5.3-Flash 在 AMD MI355X 上支持 FP8/MXFP4 MoE 与 MTP 投机解码。后续模块化更新覆盖投机解码、可打断 CUDA graph、MoE/专家并行、量化、HiCache/基数缓存、采样调度、OpenAI 兼容 API、Rust 前端与 SGLang-Diffusion，新增 TensorCast 后端、agentic 尾优化 LRU、/v1/score 集合打分和 ComfyUI 集成。升级需注意：统一基数树默认 Rust 核心，请求附带 chat_template 默认被拒，Mooncake/NIXL 后端 PD decode 中止时延迟释放 KV 默认开启，FlashInfer MoE fused finalize 默认关闭，旧端点及 SGLANG_NSA_* 等别名移除。

1. 1PD prefill/decode 可运行时切换角色，无需重启
2. 2radix cache 默认改用 Rust core，可回退 Python
3. 3请求自带 chat_template 默认拒绝，旧端点移除

为什么重要　radix cache 默认 Rust core、PD 在线角色切换与多项断裂变更，直接影响推理平台的吞吐、内存与升级迁移成本适合　运行 SGLang 的推理平台工程师、大模型服务部署负责人

来源

github.com

发布

2026/10/02

作者

sgl-project