数据源与状态仍在导航菜单中
github.com·2026/10/18·vllm-project
vLLM v0.32.0 由 363 位贡献者提交 814 commits（121 位新），新增 POST /v1/systemone 结构化决策端点与 hf 通用解析器，NVFP4/FP8 KV cache 扩展至 SM8x/SM12x/SM90/ROCm，Model Runner V2 加入 GPU n-gram 推测、Elastic EP 与 MLA 流水线并行。启动优化通过 download-kernels、autotune 预载和共享内存 tensor arena 实现，官方称短请求吞吐提升 43–85%。模型侧新增 EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR，并强化 GLM-5.3、DeepSeek-V4、Qwen、Kimi-K3/MiniMax-M3；ROCm/XPU/CPU 获得低精度 KV 与 GEMM 加速，量化加入在线重量化与 MXFP4 支持。安全修复多项 GHSA，默认 CORS 不再放开所有源；破坏性变更包括 Python 3.10 停止支持、transformers>=5.16.1,<5.20.0、max_tokens 改为输出上界、cascade attention 移除，升级需检查启动参数与客户端配置。
为什么重要 升级前须处理 Python 3.10 移除与 CORS 默认收紧；换来 KV 显存减半、短请求 req/s +43-85%适合 自建 vLLM 推理服务的平台与工程团队
mamba_cache_mode="all"、torch.compile 序列并行与 AsyncTP pass；max_tokens 不再从上下文窗口预留；Responses API reasoning 流事件改名；依赖锁定 `transformPOST /v1/systemone 端点，默认启用，可对结构化状态回答 choice、noul、score 问题--tool-call-parser hf 与 --reasoning-parser hf，读取 checkpoint 的 response_template，带该模板的模型无需专属 parservllm download-kernels 安装 FlashInfer 预编译 kernel；vllm preload --preload-autotune 跨重启保留 autotune 表fp8_ds_mla 让 GLM-5.3-Flash 输出吞吐最多 +31%；ROCm 新增 4-bit ultraquant_4bit KV cache，密度约为 FP8 的 2 倍--api-server-count 大于 1 时连接路由到负载最低的 API worker，短请求 req/s +43-85%| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| KV 显存每 rank（GLM-5.x/SM100） | 原有默认精度 | FP8，显存减半吞吐 +2.3-5.5%，TTFT +7-11% | |
| 短请求 req/s（--api-server-count>1） | 单 API worker | +43-85%Qwen3-0.6B，32 输入 / 1 输出 token | |
| GLM-5.3-Flash 输出吞吐（SM90 fp8_ds_mla） | 基线 | 最多 +31% | |
| ROCm KV cache 密度 | FP8 | 约 2xultraquant_4bit |
$ pip install -U vllm
$ uv pip install vllm --torch-backend=auto
$ docker pull vllm/vllm-openai:v0.32.0
$ vllm download-kernels
本次发布包含来自 363 位贡献者（其中 121 位是新贡献者）的 814 次提交！
POST /v1/systemone 端点在结构化状态上回答 choice、noul 和 score 类问题（#59299），默认启用（#60677、#60696），并且也运行在 Cloudflare/clef-omni（#61064）、LiquidAI/d1-3B（#60676）和 DiffusionGemma（#60466）上。新的 hf 工具与推理解析器（--tool-call-parser hf、--reasoning-parser hf）会读取 checkpoint 的 response_template，因此自带该模板的模型无需模型专用解析器（#58604、#58602），并且在 Python 与 Rust 前端中均可用（#59005）。fp8_ds_mla 让 GLM-5.3-Flash 的输出吞吐最高提升 31%（#59246）；ROCm 新增 4-bit ultraquant_4bit KV cache，密度约为 FP8 的 2 倍（#57057）。This release features 814 commits from 363 contributors (121 new)!
POST /v1/systemone endpoint answers choice, noul and score questions over a structured state (#59299), is served by default (#60677, #60696), and also runs on Cloudflare/clef-omni (#61064), LiquidAI/d1-3B (#60676) and DiffusionGemma (#60466). The new hf tool and reasoning parser (--tool-call-parser hf, --reasoning-parser hf) reads the checkpoint's response_template, so models that ship it need no model-specific parser (#58604, #58602), in both the Python and Rust frontends (#59005).fp8_ds_mla on SM90 gives GLM-5.3-Flash up to 31% more output throughput (#59246); ROCm gains the 4-bit ultraquant_4bit KV cache with about 2x the density of FP8 (#57057).EVIDENCE / METHODS
要点
Python 3.10 支持被移除，运行环境需升级到更高版本。
mamba_cache_mode="all"、torch.compile 序列并行与 AsyncTP pass 被删除，相关启动参数与编译路径需清理。max_tokens 不再从上下文窗口预留，依赖旧语义的请求长度校验要重算。transformers>=5.16.1,<5.20.0 与 tokenizers>=0.23.2。