Understanding KV Residency in Production-Scale Agentic LLM Workloads微软 1.21 亿次调用追踪：Deep Research 上下文中位数涨到 68K，80% 走前缀缓存
微软 1.21 亿次调用追踪：Deep Research 上下文中位数涨到 68K，80% 走前缀缓存
给出生产级 Agent 负载的 KV 驻留真实分布，直接支撑 HBM 容量规划、前缀缓存命中率优化与调度策略设计
AI 硬件
资料 38 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 2 小时前
同一份资料，两种阅读方式
Conjugate Compilation: Self-Improving Agentic Co-Compilation for Speculative DecodingConjugate Compilation：投机解码的跨模型联合编译优化
Conjugate Compilation：投机解码的跨模型联合编译优化
将draft与target模型纳入同一编译优化边界并以实测共同执行性能作反馈，可直接提升现网投机解码吞吐
MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder LayersMOSAIC为每层KV缓存学习预算，最高以4倍更少缓存达均匀分配效果
MOSAIC为每层KV缓存学习预算，最高以4倍更少缓存达均匀分配效果
逐层KV预算可即插即用于多种驱逐方法，帮助长上下文服务以更少显存保持任务分数。
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order PredictionSPOT 用 0.62M 参数模型预测提交顺序，为扩散语言模型实现无损加速
SPOT 用 0.62M 参数模型预测提交顺序，为扩散语言模型实现无损加速
扩散 LM 并行解码的速度-质量权衡是关键瓶颈；把“生成哪个位置”单列为可学习子问题，且小模型+目标模型验证即可无损提速，对推理工程可直接复用。
Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models提出多目标 RL 生成 Pareto 最优 RTL 电路，相对 Hypervolume 提升 +13.3 与 +14.4 个百分点
提出多目标 RL 生成 Pareto 最优 RTL 电路，相对 Hypervolume 提升 +13.3 与 +14.4 个百分点
让 LLM 生成 RTL 电路不只优化单一质量，而是优化整组候选的 Pareto 质量与多样性，供设计者按功耗/性能/面积需求事后选择。
FIGFLEX: A Mixed-Precision FP-INT GEMM Accelerator Co-Designed with Low-Bit LLM QuantizationFIGFLEX 在 LLaMA-2-7B 上 3-bit 困惑度 5.85，吞吐/面积高 1.56x
FIGFLEX 在 LLaMA-2-7B 上 3-bit 困惑度 5.85，吞吐/面积高 1.56x
针对低比特量化“省内存不省计算”问题，算法-硬件协同设计提升了精度灵活性与吞吐，对 LLM 推理硬件设计有参考价值。
Compressing Onboard Language Models for Space Robots under a Behavioral-Fidelity Requirement提出QSelect组合低比特量化，3-bit合并准确率提升4.3/4.5点
提出QSelect组合低比特量化，3-bit合并准确率提升4.3/4.5点
为资源受限场景提供组合量化方案，兼顾行为保真与内存预算，对模型压缩部署有直接参考价值。
Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference2:4 稀疏 vs 量化：低精度可用时 2:4 更差；H100 FP8 prefill +27%
2:4 稀疏 vs 量化：低精度可用时 2:4 更差；H100 FP8 prefill +27%
给出明确部署决策：有更低精度就优先量化；2:4 增益需重训练找回，且恢复 ppl 早于推理能力
KVCompass: A Discovery Plane for Internet-Scale Prefix Cache Sharing in LLM ServingKVCompass：面向互联网级前缀缓存共享的发现平面，突破单集群 KV 复用
KVCompass：面向互联网级前缀缓存共享的发现平面，突破单集群 KV 复用
跨区域复用 KV 可直接降低 prefill 成本与 TTFT，但 KV 持有者集合动态变化，发现机制不能照搬 DHT
Koi: Evidence-Guided, Self-Calibrating Planning for Multi-Cloud, Heterogeneous LLM Inference FleetsKoi：用RLM层级自校准规划多云异构LLM推理集群
Koi：用RLM层级自校准规划多云异构LLM推理集群
把约140个部署变量纳入因果图并依实测反馈自校准，为跨云选型与容量规划提供可评估的自动化思路
LEAF: LUT-aware Efficient Attention on FPGAsLEAF 用 LUT 感知训练在 FPGA 实现纳秒级 Attention
LEAF 用 LUT 感知训练在 FPGA 实现纳秒级 Attention
为超低延迟实时场景提供 FPGA 原生 Transformer 推理路线，值得评估硬件加速与边缘部署。
StreamAhead: Real-Time Streaming Video Question Answering via Adaptive PrecomputationStreamAhead：自适应预计算实现低延迟流式视频问答
StreamAhead：自适应预计算实现低延迟流式视频问答
在视频到达时预计算与查询时计算之间动态权衡KV缓存，为实时VLM服务提供算法-系统协同设计参考
