学术研究 / 论文重点进展

Random Remasking Scales Masked Diffusion Inference

arxiv.org·2026/10/23

AI 解读选中文字或图表继续提问

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 4.0 万字 · 完整阅读

$R^{2} D$ 纯测试期推理无奖励无微调，Sudoku-Hard 达 97.5% 且计算更省

针对掩码扩散模型解码错误不可逆、迭代校正缺乏对不完美去噪器轨迹的解释，作者将推理统一为干净序列空间上由“重掩码-去噪”核驱动的马尔可夫链，利用KL单步界说明收缩率随噪声水平 $t$ 递减、去噪误差随 $t$ 递增，据此提出免微调、免奖励的 $R^{2} D$ 推理：按非增调度随机重掩码，并在预测连续稳定时早停。配套的 TCT 训练在解码轨迹每个位置（含已揭示token）计算交叉熵，迫使模型修正自身错误；局部约束任务去噪误差更小，故3-SAT峰值更高。在Sudoku-Hard和3-SAT上，作者报告 97.5% 与99.3%的最高准确率，并呈近对数线性测试期扩展，优于ReMDM和ProSeCo；在HumanEval+上对现成LLaDA2.1-mini，85.4% 超过官方Q-mode及两个迭代校正基线。在逻辑任务上，早停使前向次数分别约为ReMDM的1/4和1/2。作者提出未来可扩展至生物序列设计。

1 $R^{2} D$ 是 reward-free、finetuning-free 的纯测试期推理
2TCT 损失覆盖已揭示 token，训练自纠错能力
3早期退出使 NFE 约为 ReMDM 的 1/4 与 1/2

为什么重要　对已有预训练 MDM 可直接换推理算法获得 test-time scaling，无需重训；TCT 训练可进一步提升。适合推理基础设施有掩码扩散模型的读者。适合　训掩码扩散模型或做推理伺服、想在测试期换取准确率的工程师与研究者。

来源: arxiv.org
发布: 2026/10/23

中文（AI 翻译）

掩码扩散模型（MDM）通过逐步解除 token 掩码来生成序列，但解码过程中引入的错误通常不可逆。近期工作表明，迭代修正可以提升样本质量，但在给定一个学习得到的、不完美的去噪器模型时，现有理论无法解释这一点。我们将 MDM 推理重新表述为干净序列空间上的马尔可夫链，该链由一个随机重新引入掩码然后再去噪的 remask-denoise 核定义。

这有助于我们分析朝向数据分布的实际去噪轨迹。该分析促成了 Random Remask-Denoise（R $^{2}$ D）推理，这是一种纯测试时、免微调、免奖励的流程。为了进一步提升性能，我们提出了 Trajectory Correction Training（TCT），这是一种去噪器训练流程，使模型在生成轨迹上暴露于自身错误。

在逻辑任务上，我们的方法展现出显著的近对数线性测试时扩展，在困难 Sudoku 谜题上达到超过 97% 的准确率，在 3-SAT 上达到超过 99% 的准确率。我们的方法也适用于实际语言任务中的预训练模型，在 HumanEval+ 上超过迭代修正基线以及 LLaDA2.1-mini 的官方 Q-mode 准确率。

原文

Masked diffusion models (MDMs) generate sequences by progressively unmasking tokens, but errors introduced during decoding are typically irreversible.

Recent work has shown that iterative correction can improve sample quality, yet existing theory fails to explain this given a learned, imperfect denoiser model.

We re-formulate MDM inference as a Markov chain on the clean sequence space, defined by a remask-denoise kernel that randomly re-introduces masks and then denoises.

This helps us analyze the actual denoising trajectory towards the data distribution.

The analysis motivates Random Remask-Denoise (R $^{2}$ D) inference, a purely test-time, finetuning-free, reward-free procedure.

To further improve performance, we propose Trajectory Correction Training (TCT), a denoiser-training procedure that exposes the model to its own errors along the generation trajectory.

On logical tasks, our approach exhibits a striking near-log-linear test-time scaling, achieving over 97% accuracy on hard Sudoku puzzles and over 99% accuracy on 3-SAT.

Our approach also applies to pretrained models on actual language tasks, beating iterative correction baselines and the official Q-mode accuracy of LLaDA2.1-mini on HumanEval+.

19.7%

Sudoku 起点

93.5%

Sudoku 峰值

86.0%

3-SAT 起点

98.5%

3-SAT 峰值

注释 · 预算分别为 M=1→256 与 M=1→32，原文称 $R^{2} D$ 近对数线性扩展出自图 1

HumanEval+ 上 $R^{2} D$ 为 85.4% 最高条，超过官方 Q-mode 82.9%；灰色条为模型自报结果，彩色条为作者自跑

在 Table 1 预算下 $R^{2} D$ 早退，每样本平均 NFE 约 1/4 与 1/2 of ReMDM，同时准确率更高

模型架构: Qwen2 风格 decoder-only
隐藏维度: 256
层数: 8
Sudoku M: 256
3-SAT M: 32

表格

Sudoku-Hard 与 3-SAT 主结果

+ $R^{2} D$ (correction) 在 Sudoku-Hard 和 3-SAT 达到 97.5% 与 99.3%，为所有方法最高

训练方法	推理方法	Sudoku-Hard	3-SAT
Standard	Standard	48.7	90.6
Standard	ReMDM (standard)	54.7	93.5
Standard	$R^{2} D$ (standard, $M = 1$ )	19.7	86.0
Standard	$R^{2} D$ (standard)	93.5	98.5
(ours)	Standard	51.2	79.7
(ours)	ReMDM (correction)	92.3	96.5
(ours)	$R^{2} D$ (correction)	97.5	99.3

注释 · 同一 checkpoint 与同预算下， $R^{2} D$ 比 ReMDM(correction) 高 5.2 与 2.8 个百分点出自表 1

论文原文 · PDF

在浏览器打开

原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。

$R^{2} D$ 纯测试期推理无奖励无微调，Sudoku-Hard 达 97.5% 且计算更省

针对掩码扩散模型解码错误不可逆、迭代校正缺乏对不完美去噪器轨迹的解释，作者将推理统一为干净序列空间上由“重掩码-去噪”核驱动的马尔可夫链，利用KL单步界说明收缩率随噪声水平

t

递减、去噪误差随

t

递增，据此提出免微调、免奖励的 $R^{2} D$ 推理：按非增调度随机重掩码，并在预测连续稳定时早停。配套的 TCT 训练在解码轨迹每个位置（含已揭示token）计算交叉熵，迫使模型修正自身错误；局部约束任务去噪误差更小，故3-SAT峰值更高。在Sudoku-Hard和3-SAT上，作者报告 97.5% 与99.3%的最高准确率，并呈近对数线性测试期扩展，优于ReMDM和ProSeCo；在HumanEval+上对现成LLaDA2.1-mini，85.4% 超过官方Q-mode及两个迭代校正基线。在逻辑任务上，早停使前向次数分别约为ReMDM的1/4和1/2。作者提出未来可扩展至生物序列设计。

R^{2} D

是 reward-free、finetuning-free 的纯测试期推理

2TCT 损失覆盖已揭示 token，训练自纠错能力

3早期退出使 NFE 约为 ReMDM 的 1/4 与 1/2

来源

arxiv.org

发布

2026/10/23