Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLMvLLM 双向 KV 传输：多轮 agent TTFT 最高提速 3.3 倍
vLLM 双向 KV 传输：多轮 agent TTFT 最高提速 3.3 倍
针对多轮 agent 反复重算历史上下文的瓶颈，让 decode 节点回传 KV 供 prefill 复用，是 agent 服务降延迟的高价值工程方案。
DOMAIN OBSERVATORY
资料 49 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 10 分钟前
（暂无权威综述，基于前沿内容归纳）本批资料覆盖训练、推理、集群、运行时与能效评测，可概括为以下主干：
vLLM 双向 KV 传输：多轮 agent TTFT 最高提速 3.3 倍
针对多轮 agent 反复重算历史上下文的瓶颈，让 decode 节点回传 KV 供 prefill 复用，是 agent 服务降延迟的高价值工程方案。
vLLM push 式 KV 传输：TTFT 最高提升 3 倍，TPOT 提升 30%
把 KV 传输协调移出关键路径，是 P-D 分离推理在 RDMA 网络上的实用优化；做长 prompt 在线服务的团队可直接借鉴该 connector 设计。
ReplaySSM 重思混合模型状态存储，加速 SSM+Attention 解码
针对 Mamba-2/GDN/KDA 混合架构的固定状态复用问题给出解法，直接影响长上下文解码吞吐与显存占用，值得工程评估。
TensorRT 11.1 推出 Global Performance Tuner，自动精度感知的端到端调优
自动、精度感知的调优替代手工逐配置试错，降低 TensorRT 推理部署的优化成本。
Deepgram 将 Nova-3 移植到 Trainium2，每美元转写音频量提升 11–70%
非 NVIDIA 加速卡的语音模型迁移实战：Neuron 栈、kernel 调优与 Rust 运行时，可复用于降本评估
微软研究：把机器人推理卸载到边缘/云端可提升任务成功率与续航
挑战机载 GPU 全本地推理的默认假设，给出分布式推理的容器化 K8s 工具链，直接影响具身智能系统架构选型
Together AI 联手 IBM Cloud/NVIDIA 推出 B300 专用推理集群
为企业以生产规模运行开源模型提供专用算力路径，直接影响推理部署与供应商选型。