vllm-project/vllm

vLLM 是 LLM 推理与 serving 的主流库，95158 Star，支持 200+ 架构与 OpenAI 兼容 API

vLLM 是加州大学伯克利分校 Sky Computing Lab 发起、由 2000 余名贡献者 维护的开源 LLM 推理与服务引擎，用 PagedAttention 管理 KV 缓存并配合连续批处理、分块预填充、前缀缓存和 CUDA/HIP 图实现高吞吐；支持 GPTQ/AWQ/GGUF 等量化、FlashAttention/FlashInfer 等优化内核、投机解码和分离式预填充/解码/编码，提供 OpenAI 兼容 API、Anthropic Messages API、gRPC、结构化输出、工具调用与多 LoRA，可运行 200 余种 Hugging Face 模型，硬件覆盖 NVIDIA/AMD/Intel GPU、CPU 及 TPU、Gaudi、Ascend 等插件。安装可执行 uv pip install vllm 并运行 vllm download-kernels 拉取预编译内核加速启动；pyproject.toml 固定 torch 2.14.0、要求 Python 3.11–3.14，setup.py 仅官方支持 Linux（含 WSL）和 macOS，macOS 自动设为 CPU，其他平台置为 empty。项目以 Apache 许可开源，构建需 CMake、Ninja、setuptools-rust 等，首次编译与跨平台门槛较高。

1. 1PagedAttention 与连续批处理提升 KV cache 利用与吞吐
2. 2disaggregated prefill/decode/encode 可独立扩缩容三阶段
3. 3OpenAI 兼容 API、工具调用与结构化输出直接接入智能体

为什么重要　做智能体/多模态/量化推理服务时，vLLM 提供 OpenAI 兼容 API、工具调用、多硬件插件，可作为统一 serving 底座适合　适合做推理部署、智能体后端、模型服务的工程与平台团队

来源

github.com

发布

2026/10/21

作者

vllm-project

Star

95.4k

本周新增

+1.4k