数据源与状态仍在导航菜单中
aws.amazon.com·2026/10/20·Sunita Nadampalli
vLLM的prefill-decode分离可独立扩展，但KV cache从prefill向decode传输决定TTFT。现有NIXL pull模式在prefill后串行做router中继、decode端块分配和NIXL READ，拉长关键路径。新的 push-based NIXL connector 让decode在prefill进行时提前注册目标块，prefill端后台线程匹配请求并发NIXL WRITE，把传输准备和提交移出主循环。在Qwen3-32B的1P1D、EC2 P5en+EFA、禁用prefix caching测试中，作者报告16k输入、高请求率下TTFT从pull约1744 ms降至540 ms，约 3x；TPOT改善最高 30%。部署时两端需把connector设为 NixlPushConnector。push适合可提前选decode节点、低TTFT优先；pull仍适合双向KV传输或延迟选节点做负载感知路由。未来计划把后台线程模型引入pull connector。
为什么重要 跑 vLLM P-D 分离的服务在高请求速率下 TTFT/TPOT 直接受益；传输准备移到 prefill 后台线程，decode 主循环不再被占用。适合 vLLM 分离式推理服务、推理基础设施与 MLOps 工程师
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 传输发起方 | decode 发起 NIXL READ | prefill 发起 NIXL WRITE | |
| TTFT 关键路径 | router 中继与 decode 分配串行 | decode 预注册，与 prefill 计算重叠 | |
| 传输准备开销 | 在 decode 实例上 | prefill 侧后台线程 | |
| TTFT 性能 | pull 基线 | 官方称最高 3xQwen3-32B，1P1D | |
| TPOT 性能 | pull 基线 | 官方称最高 30.0%Qwen3-32B，1P1D |
vLLM 的 prefill-decode 分离将 LLM 推理拆分到不同引擎实例上，但必须在实例之间传输 KV cache。本文介绍了一种基于 push 的 NIXL connector，把传输协调移出关键路径；在配备 AWS EFA 的 Amazon EC2 P5en 实例基准测试中，TTFT 最高改善 3 倍，TPOT 改善 30%。
vLLM's prefill-decode disaggregation splits LLM inference across engine instances but must transfer the KV cache between them.
This post introduces a push-based NIXL connector that moves transfer coordination off the critical path, delivering up to 3x better TTFT and 30% better TPOT in benchmarks on Amazon EC2 P5en instances with AWS EFA.
EVIDENCE / METHODS
要点
vLLM 新增 push-based 术语解释NVIDIA Inference Xfer Library，经 RDMA 互联搬运 KV 块的传输库 connector，把 prefill 后的传输协调与准备移出 TTFT 关键路径