数据源与状态仍在导航菜单中
developer.nvidia.com·2026/10/13·Michelle Horton
为什么重要 对hybrid模型在线推理者：状态写流量约减半，缓解HBM带宽瓶颈，已进入vLLM/TensorRT-LLM/FlashInfer。适合 适合 hybrid 模型在线推理、投机解码和低精度状态的 MLOps/推理工程师
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 状态写流量 | 常规解码窗口 L 内写状态 L 次 | 仅 flush 步写检查点，窗口 L 内写 1 次官方称状态流量约减半 | |
| 投机回滚 | vLLM 每个 draft token 存状态快照 | draft 输入追加缓冲，提交后推进指针无需恢复状态 |
混合模型将状态空间模型（SSM）层与少量注意力层交错堆叠。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 均采用这种结构，其 SSM 层使用 Mamba-2、Gated DeltaNet（GDN）或 Kimi Delta Attention（KDA）。
SSM 层旨在让解码更快：它们使用固定大小的状态，替代随上下文增长的 key-value（KV）缓存。
Hybrid models interleave state-space model (SSM) layers with a few attention layers. NVIDIA Nemotron 3, Qwen3.5 through Qwen3.8, Kimi-K3, and GLM-5.3-Flash are...
EVIDENCE / METHODS
要点
NVIDIA 与 Princeton 的 Dao AI Lab 联合发布 术语解释SSM状态表示为检查点+近期输入缓冲的推理方法 论文《ReplaySSM: Cache SSM Inputs, Not State》