数据源与状态仍在导航菜单中
github.com·2026/10/19·sgl-project
此版本合并 950 个 PR,新增 Clef/Clef Flash、PPLX-Decider、EmbeddingGemma 2、SANA-Video 2.0、LLaDA-Image 等模型支持。性能上,DeepSeek-V4.1 在 H200 单 GPU 吞吐最高提升 2.3 倍,AMD MI350X/MI355X 经 DSpark 亦获提速;Qwen3.8-Flash-Next、GLM-5.3-Flash、MiMo-V2.6-Pro 在 B200/B300 上解码加快;InstantTensor 使模型加载快 10 倍,PD 分离在长提示下吞吐提升 27% 且尾延迟减半。其余变更覆盖投机解码、可中断 CUDA graph、注意力后端、MoE 与量化、统一内存与 HiCache、LoRA、多模态、Rust 前端、Diffusion,以及 ROCm/XPU/NPU/MUSA 等平台。升级要求 Python 3.11+,--enable-dp-attention 弃用并由 --attn-dp-size N 取代,ChunkCache 移除,--disaggregation-decode-host-receive-threshold 语义翻转;可用 uv 安装预发布包并拉取各平台 Docker 镜像。
为什么重要 管理生产 SGLang 推理服务需评估破坏性变更(Python 3.11、DP-attention 参数、PD 阈值翻转)与性能收益。适合 运行 SGLang 的推理平台工程师、AMD/NVIDIA 多硬件部署团队
PD 吞吐
长提示解码 KV 压力
p95 TTFT
PD 长提示
MiMo-V2.6-Pro
术语解释分组卷积的推测解码实现,保持 taps 在请求 block 内避免 NaN/Inf 泄漏 B300 解码
Qwen3.8-Flash-
B200 解码
GLM-5.3-Flash
术语解释分组卷积的推测解码实现,保持 taps 在请求 block 内避免 NaN/Inf 泄漏 B300
注释 · 均为 #40703 / #41886 / #42175 / #42489 的作者报告数字。出自 Highlights / What's new
$ uv pip install --prerelease=allow sglang==0.5.22
$ docker pull lmsysorg/sglang:v0.5.22
$ docker pull lmsysorg/sglang:v0.5.22-rocm10-mi35x
$ docker pull lmsysorg/sglang:v0.5.22-xpu
来自 245 位贡献者的 950 个 PR。
| 模型 | 类型 | Cookbook |
|---|---|---|
| Clef / Clef Flash | LLM / VLM | 链接 |
| PPLX-Decider v1 / v1.1 | LLM / VLM | 链接 |
| EmbeddingGemma 2 | LLM / VLM | 链接 |
| LLaDA2.2 | LLM / VLM | |
| HunyuanImage-3.0-Instruct | Diffusion | 链接 |
| Kandinsky 6 / Kandinsky 6 SR | Diffusion | 链接 |
| Wan-Animate-2 | Diffusion | 链接 |
| SANA-Video 2.0 | Diffusion | 链接 |
| LLaDA-Image / LLaDA-Image-Turbo | Diffusion |
950 PRs from 245 contributors.
| Model | Type | Cookbook |
|---|---|---|
| Clef / Clef Flash | LLM / VLM | link |
| PPLX-Decider v1 / v1.1 | LLM / VLM | link |
| EmbeddingGemma 2 | LLM / VLM | link |
| LLaDA2.2 | LLM / VLM | |
| HunyuanImage-3.0-Instruct | Diffusion | link |
| Kandinsky 6 / Kandinsky 6 SR | Diffusion | link |
| Wan-Animate-2 | Diffusion | link |
| SANA-Video 2.0 | Diffusion | link |
| LLaDA-Image / LLaDA-Image-Turbo | Diffusion |
EVIDENCE / METHODS
表格
升级前必须改启动参数:--enable-dp-attention 弃用、ChunkCache 移除、PD 阈值 0/1 语义翻转
| 变更 | 影响 | 迁移动作 |
|---|---|---|
| Python 3.11+ 硬性要求 | Python 3.10 的 pip 装到上一版本 | 从 Ubuntu 22.04 系统 Python 迁移 |
--enable-dp-attention 弃用 | 改用 --attn-dp-size N | DeepSeek CP 下 --dp-size 语义保留,2026-12-31 后拒绝 |
--disaggregation-decode-host-receive-threshold 翻转 | 新默认 1 禁 host receive;0 变成总是 host receive | 原传 0 禁用的配置需改传 1 |
ChunkCache 移除 | 禁用 radix 缓存后走 UnifiedRadixCache / PureSWARadixCache | 检查启用参数与插件树缓存 |
ModelRunner.tp_group 移除 | 模型/插件作者 API 断裂 | 改读 get_parallel().tp_group |
注释 · Python 3.10 上 pip 不会报错,而是解析到上一支持版本——升级检查容易被跳过。出自 Breaking Changes & Upgrade N