PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative DecodingPolyGraph 用单张 CUDA Graph 支撑自适应投机解码,替代 64 张形状专用图
PolyGraph 用单张 CUDA Graph 支撑自适应投机解码,替代 64 张形状专用图
自适应投机解码动态改变验证宽度会迫使服务系统预捕获大量形状;该方案只需 28 字节更新即可复用单图,对推理引擎图捕获策略有直接参考价值
数据源与状态仍在导航菜单中
DOMAIN OBSERVATORY
资料 38 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 2 小时前
(暂无权威综述,基于前沿内容归纳)当前主线由大模型推理负载牵引,围绕内存、缓存、量化、解码与系统协同展开 [2][10]。
PolyGraph 用单张 CUDA Graph 支撑自适应投机解码,替代 64 张形状专用图
自适应投机解码动态改变验证宽度会迫使服务系统预捕获大量形状;该方案只需 28 字节更新即可复用单图,对推理引擎图捕获策略有直接参考价值