arxiv.org·2026/10/21
块扩散推测解码靠并行起草多个 token 加速大模型推理，但一步起草存在 token 因子化误差：同一步各 token 均基于同一掩码块预测，互不依赖其他位置已选 token，草稿易不一致、接受长度下降；迭代细化虽以后续预测依赖已提交 token 来缓解，却因多轮传递抬高起草成本。DStill 用两阶段蒸馏化解草稿保真与延迟的矛盾：先训练目标条件化起草器补全部分揭示的块，再用其多步细化轨迹训练学生一次预测最终补全，并以由部分掩码渐进过渡到全掩码的课程学习把多步细化能力压进一步。在三个模型家族的推理、数学、代码基准上，作者报告接受长度较一步DFlash最多提升28%、加速比最多提升25%，较自回归解码最高达6.45x加速。
为什么重要 针对块扩散一步草稿互不条件化导致不一致，摘要提出用多步精炼轨迹蒸馏成一步，对推理加速与接受长度工程有参考。适合 做 LLM 推测解码与块扩散推理加速的工程师。
Block-diffusion speculative decoding 通过并行起草多个 token 来加速大语言模型推理。然而，离散扩散中的一步起草受到 token factorization error 限制：每个 token 都从同一个 masked block 预测，而不以该步骤中其他位置选择的 token 为条件。这可能产生不一致草稿并降低接受长度。
迭代式 refinement 通过将后续预测条件化到先前已提交的 token 上来缓解这一限制，尽管额外 pass 会增加起草成本。为处理草稿保真度与推理延迟之间的权衡，我们提出 DStill，一个两阶段框架，将目标条件化 drafter 自身的多步 refinement 蒸馏为一步起草。我们首先训练 drafter 补全部分揭示的 block，然后使用其 refinement 轨迹训练一个 student，在一次 pass 中预测最终补全。
通过一个逐渐从部分 masked 输入过渡到完全 masked 输入的 curriculum，我们成功将多步 refinement 能力迁移到一步。在三个模型系列的推理、数学、代码基准上，DStill 相对一步 DFlash 将接受长度最高提升 28%，将加速比最高提升 25%，相对 auto-regressive decoding 实现最高 6.45× 加速。
Block-diffusion speculative decoding accelerates large language model inference by drafting multiple tokens in parallel.
However, one-step drafting in discrete diffusion is limited by token factorization error: each token is predicted from the same masked block, without conditioning on the tokens selected at other positions in that step.
This can produce inconsistent drafts and reduce acceptance length.
Iterative refinement mitigates this limitation by conditioning later predictions on previously committed tokens, though additional passes increase drafting cost.
To address this trade-off between draft fidelity and inference latency, we introduce DStill, a two-stage framework that distills a target-conditioned drafter's own multi-step refinement into one-step drafting.
We first train the drafter to complete partially revealed blocks, then use its refinement trajectories to train a student to predict the final completion in one pass.
Using a curriculum that gradually transitions from partial to fully masked inputs, we successfully transfer the multi-step refinement capabilities into one step.
Across reasoning, math, code benchmarks on three model families DStill improves acceptance length by up to 28% and speedup by up to 25% over one-step DFlash, achieving up to 6.45x speedup over auto-regressive decoding.
EVIDENCE / METHODS
判断
术语解释本文提出的两阶段框架，把 target-conditioned drafter 的多步精炼蒸馏为一步草稿。 将多步精炼压缩为一步草稿。
摘要称在 reasoning、math、code benchmarks 与 three model families 上，接受长度最高提升 28%，相对 one-step 术语解释摘要中的一步块扩散草稿基线。 加速最高提升 25%，相对 auto-regressive 最高 6.45x。摘要未给训练规模、硬件或实现细节。
注释 · 仅摘要信息；数字均为官方报告上限，非平均值。出自 摘要
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。