aws.amazon.com·2026/10/20·Sunita Nadampalli
多轮智能体工作负载中历史上下文每轮被重发，而prefill-decode分离部署只做prefill→decode单向KV传输，导致decode保留的响应KV在下一轮被prefill重算，TTFT随上下文增长。AWS扩展NIXL KV connector实现D→P NIXL READ，由KV-cache-aware router按conversation_id缓存block元数据协调跨轮复用；decode按默认480秒TTL保留KV块，64 token的kv_recompute_threshold决定复用或本地重算。在Amazon EC2 P5en+EFA的1P1D基准中禁用prefill前缀缓存，AWS报告Qwen3-32B最长提示TTFT降低约1.6x，GLM-5-FP8降低约3.3x，KV传输开销远小于被消除的重算。上线需vLLM v0.21.0+NixlConnector，在prefill与decode启用bidirectional_kv_xfer并配合KV-cache-aware router，结果依硬件与负载变化。
为什么重要 多轮 agent 的重复 prefill 被削减，长会话的延迟与算力成本随之下降；代价是引入有状态 router 和 decode 侧显存占用，需要调整 TTL 与阈值。适合 做多轮 agent 推理服务、vLLM 与 P-D 分离部署的工程团队
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| KV 传输方向 | 仅 prefill→decode | P→D 与 D→P 双向两个方向共用 NIXL READ | |
| 上一轮回复的 KV | prefill 重新计算 | 从 decode 拉取复用 | |
| 多轮 TTFT（GLM-5-FP8） | 基线 | 最高快 3.3x1P1D、EC2 P5en + EFA，官方数据 |
多轮智能体负载每轮都会重复处理不断增长的对话上下文，导致延迟上升。本文展示双向 KV cache 传输如何让 prefill 与 decode 节点跨轮复用已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，Qwen3-32B 的首 token 时间最高缩短 1.6 倍，GLM-5-FP8 最高缩短 3.3 倍。
Multi-turn agentic workloads reprocess growing conversation context each turn, driving up latency.
See how bi-directional KV cache transfer lets prefill and decode nodes reuse previously computed context across turns, cutting time to first token by up to 1.6x for Qwen3-32B and 3.3x for GLM-5-FP8 on Amazon EC2 P5en instances with EFA.
EVIDENCE / METHODS
要点
vLLM 新增双向 KV 传输：decode 节点在会话后续轮次把已计算的 KV 回传给 prefill 节点复用，避免重算历史上下文。