论文AI 基础设施推理服务与引擎3 天前
To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems
KVLearn 学习式 KV 缓存保留：分离式服务 TTFT 最高降 56%，传输量降 53%
分离式推理中缓存决策需权衡重算与网络传输，该框架给出可落地的成本感知方案
AI 基础设施
共 49 条 · 按质量与时效综合排序 · 仅收录近 3 个月内容最近同步 26 分钟前
已折叠 · 展开查看该领域的技术路线图、最新技术与成果、发展态势与前景趋势（含表格与 Mermaid 路线图）。
论文AI 基础设施推理服务与引擎NeurIPS 20265 天前
LoRASpace: A Pool-Wide Shared Substrate for Static and Dynamic Multi-LoRA Composition
LoRASpace：多 LoRA 动态推理快 6x 以上
训练无关地降低多 LoRA 组合推理成本，对 LoRA 池服务有工程参考价值。
论文AI 基础设施推理服务与引擎2 天前
Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
编译 LLM 控制为并行推理，层次 RAG 控制延迟降 35–47%
为层次化 RAG 等结构化控制提供并行化路径，策略精确且延迟下降，对 LLM 推理加速有直接参考价值。
论文AI 基础设施推理服务与引擎3 天前
HAWK: Heterogeneity-Aware KV Cache Transfer for Efficient GPU-NPU Phase-Disaggregated LLM Inference
HAWK 实现 GPU-NPU 分离式推理的 KV cache 跨设备直传，成本效率达 1.72×
prefill/decode 分置 GPU/NPU 可显著提升能效与成本效率，为异构推理集群设计提供可参考的工程方案。
论文AI 基础设施推理服务与引擎3 天前
UlaCache: Unified Logical Addressing for Sparse LLM Serving
UlaCache 统一逻辑地址管理稀疏 KV cache，B300 TP 峰值吞吐 2.51×
为长上下文稀疏注意力的 KV 管理给出系统级方案，逻辑地址抽象与 PB-LRU 可直接借鉴到 serving 工程
论文AI 基础设施推理服务与引擎4 天前
Resuming Vision-Language Inference across Onboard Interruptions
OrbitWeaver 实现在轨 VLM 推理断点续算，加速 4.07 倍
为边缘/不稳定环境下的推理容错提供阶段感知检查点与 KV cache 恢复方案，思路可迁移至地面边缘部署
论文AI 基础设施推理服务与引擎4 天前
MLIPS: Multi-Layer Indexer Pool Sharing
MLIPS 免训练共享各层索引池，vLLM 长上下文推理提速 1.14–1.40×
免训练、已在 vLLM 落地，长上下文服务可直接评估换提速与降能耗，但精度有波动。
论文AI 基础设施推理服务与引擎17 天前
TokenRouter: Efficient Serving System for Token-Level LLM Routing
TokenRouter 支持 token 级 LLM 路由，解码吞吐较现有系统提升 2.01-64.15x
以 request-centric 编程和延迟批调度解决 token 级路由的步调失配与批量延迟，对 LLM 推理服务有直接工程价值，且已开源。
论文AI 基础设施推理服务与引擎4 天前
ProVe: Proposer-Verifier Decoding
ProVe 反转投机解码角色：大模型单次前向出 16 token 块，无损加速 2.5x
免训练 draft head 即获 2.5x 无损加速，对大模型自部署推理优化有直接吸引力。
论文AI 基础设施推理服务与引擎4 天前
Adaptive Multi-Token Prediction: How far should we go?
AMTP 免重训练自适应选择 MTP 投机长度，解码提速至 4.1 倍
MTP 已进入主流推理栈，免重训练的在线长度控制器对推理引擎有直接工程价值。
