AI 研究助理

基于站内最新资料，回答 AI 前沿问题

回答带出处引用，支持多轮追问，当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
论文学术研究扩散语言模型Self-Conditioning语言建模GSM8K

Loopholing All the Way: Language Modeling with pure Self-Conditioning

查看原文（PDF）
AI 解读已生成 · AI 生成，数字以原文为准
AI 全文总结快速浏览基于论文全文 3.7 万字 · 完整阅读

LAW 全程只传连续状态：GSM8K 42.2% 胜 LDDM-U，微调 Duo 至 48.1%

针对“生成模型能否纯靠 Self-Conditioning（SC）”这一问题，Basel 大学与 Microsoft AI 等机构提出 LAW：自回归模型串行生成且难用双向上下文，离散扩散语言模型每步丢弃去噪预测造成信息坍缩，连续扩散在推理上又不占优，而 SC 此前只作辅助。LAW 从均匀随机 token 出发，跨步仅传播去噪器预测下的期望嵌入作为 SC 状态，直到最后一步才解码回离散 token；训练沿用 LDDM 的多趟前向且只回传末趟，消融显示换成最终层隐表示会让 GSM8K 准确率崩塌，训练时随机缩放 logits 的温度正则也不可缺。作者报告：hard Sudoku 上 96.5% 胜过 LDDM-U，Maze 少步区间领先全部基线；同 FLOPs 训练下，TinyGSM 训练后 GSM8K 达 42.2%，高于 LDDM-U 的 34.5%，微调预训练 Duo 后更从 17.2% 升至 48.1%；OpenWebText 上少步采样即逼近自回归模型的 Gen. PPL–熵前沿。局限在于 CE 与 NELBO 各有适用任务、样本熵覆盖较窄、仅验证于学术规模，代码已在 GitHub 开源。

  1. 1从头训练 GSM8K 42.2%，LDDM-U 34.5%
  2. 2Duo 微调 50k 步：17.2%→48.1%，仅加 26% 算力
  3. 3SC 状态用期望嵌入 35.8%，LN 隐表示 <1.5%

为什么重要　连续 DLM 此前在推理任务上至多追平离散扩散；LAW 反超 LDDM，且现成 Duo 加 26% 算力即 17.2%→48.1%，可当后训练配方。适合　跟踪扩散与非自回归语言模型训练路线的研究型工程师

来源
arxiv.org
发布
2026/10/22

中文（AI 翻译）

近期 Diffusion Language Models (DLMs) 使用 Self-Conditioning (SC)，或 Loopholing，来提升性能。虽然 SC 传统上被视为辅助启发式，但其实证成功提出一个问题：一个连续生成模型能否完全基于 Self-Conditioning？我们肯定回答，提出 LAW（“Loopholing All the Way”），该方法跨步骤传播去噪器预测下的 Expected Embedding，并在最后一次性解码 tokens。

在 Sudoku 上，LAW 超越以往的 Discrete 和 Continuous Diffusion Models，包括 Loopholing Discrete Diffusion。在 Maze 上，LAW 在 2 到 64 NFE 范围内最准确。在 TinyGSM 上训练并在温度 1 下以 1024 NFE 采样后，LAW 解决 42.2% 的 GSM8K 问题，而 uniform Loopholing Discrete Diffusion 为 34.5%。

此外，用 LAW 微调预训练的 Uniform Diffusion Model (Duo) 将其准确率从 17.2% 提升至 48.1%。最后，在 OpenWebText 上，LAW 推动 Pareto frontier 并接近 Autoregressive Models (ARMs)，达到 64 NFE。代码见 https://github.com/ilievanadezhda/law。

原文

Recent Diffusion Language Models (DLMs) use Self-Conditioning (SC), or Loopholing, to improve their performance.

While SC is traditionally seen as an auxiliary heuristic, its empirical success raises the question: can a continuous generative model be based purely on Self-Conditioning?

We answer affirmatively with LAW (``Loopholing All the Way''), which propagates the Expected Embedding under the denoiser's prediction across steps, decoding the tokens once, at the end.

On Sudoku, LAW outperforms previous Discrete and Continuous Diffusion Models, including Loopholing Discrete Diffusion. On Maze, LAW is the most accurate from 2 to 64 NFE.

After training on TinyGSM and sampling at temperature 1 with 1024 NFE, LAW solves 42.2% of GSM8K problems against 34.5% for uniform Loopholing Discrete Diffusion.

Additionally, fine-tuning a pre-trained Uniform Diffusion Model (Duo) with LAW increases its accuracy from 17.2% to 48.1%.

Finally, on OpenWebText, LAW pushes the Pareto frontier and approaches Autoregressive Models (ARMs) with 64 NFE. Find our code at https://github.com/ilievanadezhda/law.

术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-U 34.5%
  • LAW 微调 Duo
    48.1%
  • LAW 从头训练
    42.2%
  • 术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-U+期望嵌入
    38.7%
  • 术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-U
    34.5%
  • Duo
    17.2%

注释 · 论文报告数字，同为 T=1、1024 术语解释Number of Function Evaluations，去噪网络前向调用次数，即采样步数；微调指 Duo 上 50k 步。出自 §4.3、图 1

术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-U 91.0%
  • LAW CE+ρ=2
    96.5%
  • 术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-M
    87.5%
  • Duo
    58.4%
  • FLM
    44.5%
  • MDLM
    30.2%

注释 · 180 术语解释Number of Function Evaluations，去噪网络前向调用次数，即采样步数 精确匹配；hard 难度=可见数字 30/81，须与唯一解完全一致。出自 表 1

图 14：Maze-Hard 上 LAW 生成的最短路径合法但与目标不同——精确匹配会误判为错，这正是论文改报 valid-solution 准确率的原因。
默认训练
M=2、p=0.9（多遍概率）
解码器
raw 采样解码（默认）
架构
预归一化 DiT，兼容 UDM checkpoint
GSM8K模型
12 层 DiT，ctx 512，smollm 分词
OWT模型
12 层 DiT d=768，ctx 1024

深度总结

1 / 8
56.2%
GSM8K 与 Maze 补充数字· 关键数据

少步优势突出：32 步采样 56.2% 胜 ARM 的 53.9%

56.2%

32步胜ARM

15k 步微调，ARM 为 53.9%

26.4%

T=0.1@8NFE

术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-U 同设定 12.4%

+8%

微调算力

Duo 之上加 15k 步

11.8M

训练数据

TinyGSM，GPT-3.5 生成

低于89%

术语解释Loopholing 离散扩散模型：在离散 token 之外附加传播 SC 状态（Jo et al., 2026）-U上限

Maze 多步平台，连续基线<82%

注释 · 术语解释Number of Function Evaluations，去噪网络前向调用次数，即采样步数=去噪网络前向次数即采样步数；均为论文报告值。出自 §4.2–4.3