AI 基础设施

KVLearn 学习式 KV 缓存保留：分离式服务 TTFT 最高降 56%，传输量降 53%

分离式推理中缓存决策需权衡重算与网络传输，该框架给出可落地的成本感知方案

LoRASpace：多 LoRA 动态推理快 6x 以上

训练无关地降低多 LoRA 组合推理成本，对 LoRA 池服务有工程参考价值。

编译 LLM 控制为并行推理，层次 RAG 控制延迟降 35–47%

为层次化 RAG 等结构化控制提供并行化路径，策略精确且延迟下降，对 LLM 推理加速有直接参考价值。

HAWK 实现 GPU-NPU 分离式推理的 KV cache 跨设备直传，成本效率达 1.72×

prefill/decode 分置 GPU/NPU 可显著提升能效与成本效率，为异构推理集群设计提供可参考的工程方案。

UlaCache 统一逻辑地址管理稀疏 KV cache，B300 TP 峰值吞吐 2.51×

为长上下文稀疏注意力的 KV 管理给出系统级方案，逻辑地址抽象与 PB-LRU 可直接借鉴到 serving 工程

OrbitWeaver 实现在轨 VLM 推理断点续算，加速 4.07 倍

为边缘/不稳定环境下的推理容错提供阶段感知检查点与 KV cache 恢复方案，思路可迁移至地面边缘部署

MLIPS 免训练共享各层索引池，vLLM 长上下文推理提速 1.14–1.40×

免训练、已在 vLLM 落地，长上下文服务可直接评估换提速与降能耗，但精度有波动。

TokenRouter 支持 token 级 LLM 路由，解码吞吐较现有系统提升 2.01-64.15x

以 request-centric 编程和延迟批调度解决 token 级路由的步调失配与批量延迟，对 LLM 推理服务有直接工程价值，且已开源。

ProVe 反转投机解码角色：大模型单次前向出 16 token 块，无损加速 2.5x

免训练 draft head 即获 2.5x 无损加速，对大模型自部署推理优化有直接吸引力。

AMTP 免重训练自适应选择 MTP 投机长度，解码提速至 4.1 倍

MTP 已进入主流推理栈，免重训练的在线长度控制器对推理引擎有直接工程价值。