BS-Spec: BFP-Based Bit-Sharing for Self-Speculative LLM Decoding with LUT-Driven Mixed-Precision AccelerationBS-Spec：BFP 位共享自推测解码，免去独立 draft 模型与 KV cache
BS-Spec：BFP 位共享自推测解码，免去独立 draft 模型与 KV cache
把自推测解码与混合精度硬件执行打通，直接指向 LLM servings 吞吐与显存占用，值得评估
AI 硬件
资料 38 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 1 小时前
浏览方式
A Hybrid GPU and Processing-Near-Memory Architecture with Shared DRAM for Efficient Prefill-Decode Disaggregation共享DRAM的GPU+近存处理架构优化prefill-decode分离
共享DRAM的GPU+近存处理架构优化prefill-decode分离
针对PD分离中预填充带宽闲置、解码算力闲置的错配，探索GPU与PNM协同提升利用率。
PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative DecodingPolyGraph 用单张 CUDA Graph 支撑自适应投机解码，替代 64 张形状专用图
PolyGraph 用单张 CUDA Graph 支撑自适应投机解码，替代 64 张形状专用图
自适应投机解码动态改变验证宽度会迫使服务系统预捕获大量形状；该方案只需 28 字节更新即可复用单图，对推理引擎图捕获策略有直接参考价值