Conjugate Compilation: Self-Improving Agentic Co-Compilation for Speculative DecodingConjugate Compilation：投机解码的跨模型联合编译优化
Conjugate Compilation：投机解码的跨模型联合编译优化
将draft与target模型纳入同一编译优化边界并以实测共同执行性能作反馈，可直接提升现网投机解码吞吐
AI 硬件
资料 38 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 刚刚
浏览方式
Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference2:4 稀疏 vs 量化：低精度可用时 2:4 更差；H100 FP8 prefill +27%
2:4 稀疏 vs 量化：低精度可用时 2:4 更差；H100 FP8 prefill +27%
给出明确部署决策：有更低精度就优先量化；2:4 增益需重训练找回，且恢复 ppl 早于推理能力
PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative DecodingPolyGraph 用单张 CUDA Graph 支撑自适应投机解码，替代 64 张形状专用图
PolyGraph 用单张 CUDA Graph 支撑自适应投机解码，替代 64 张形状专用图
自适应投机解码动态改变验证宽度会迫使服务系统预捕获大量形状；该方案只需 28 字节更新即可复用单图，对推理引擎图捕获策略有直接参考价值