扩散语言模型的去噪几何学 2026：从掩码扩散、双向注意力到并行接受率的统一框架

一句话摘要：当 LLaDA、Mercury、Seed Diffusion 把"逐 token 自回归"换成"整句去噪"时，文本生成的几何形状从单向链式路径塌缩成双向流形上的扩散轨迹——本文用 score matching、并行接受率统计与去噪曲率三件套，给出这一范式转移的严格理论脚手架。

一、问题的提出：为什么 2026 是"扩散 LLM"的奇点年

过去十二个月，文本生成的主流量假设被三件事同时拆穿。第一，字节级扩散模型 Mercury 在 1000 tokens/s 的速度区间里把同尺寸自回归模型的端到端时延打到了 5–10×，而其困惑度差距收敛到了 < 1.5 nat。第二，LLaDA 8B 在多项 choice 与 drop-style 任务上以非自回归范式追平同尺寸 AR 基线，并在 GSM8K、MATH-500 这种长链推理任务上反超 2–4 个百分点。第三，Seed Diffusion 把"整句一次性去噪"在 1024–4096 长度区间的接受率推到了 0.85+ 区间，使得"并行草稿 + 一次性接受"从理论玩具变成生产级策略。这三件事不是孤立事件，它们指向同一个事实：文本的概率几何不再是单向链——它是一个有曲率的双向流形，去噪是从这个流形的高熵测度向数据流形投影的随机微分方程。这意味着 2026 年 LLM 研究的理论坐标，必须从"链式条件概率"切到"路径积分 + score function"。

二、形式化：前向过程、反向过程与 score

我们用 $\mathbf{x}_0 \sim p_{\text{data}}$ 表示干净的 token 序列，$\mathbf{x}_t \in \{0, 1\}^L \cup \{\text{[MASK]}\}^L$ 表示第 $t$ 步的破坏状态。前向过程 $q(\mathbf{x}_t | \mathbf{x}_0)$ 通常写作

其中 $\alpha_t$ 是 $t \in [0,1]$ 的单调调度，$\mathbf{e}_v$ 是 one-hot 编码。反向过程参数化为 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$，其训练目标等价于去噪 score matching：

在离散 token 空间，$\nabla \log q$ 没有连续导数，所以工程上常把"加噪过程"近似为连续嵌入空间里的高斯扰动，再回投到离散 token。LLaDA 用的是 $\alpha_t = 1 - t$ 的线性调度，Mercury 用的是 cosine-sqrt 调度，Seed Diffusion 用的是渐进 sigmoid。这一选择不是"小修小补"——它直接决定了反向过程能多快地落到低曲率盆地。

三、掩码扩散调度：cosine、linear 与渐进 sigmoid 的几何差异

调度函数 $\alpha(t)$ 决定了信息量在时间维度上的分布。给定步数 $T$，三种主流调度分别为：

def alpha_schedule(t: float, kind: str) -> float:
    if kind == "linear":        # LLaDA 默认
        return 1.0 - t
    if kind == "cosine_sqrt":  # Mercury 默认
        return (math.cos(t * math.pi / 2.0)) ** 2
    if kind == "sigmoid_log":  # Seed Diffusion 默认
        s = 8.0 * (t - 0.5)
        return 1.0 / (1.0 + math.exp(-s))
    raise ValueError(kind)

经验上，linear 调度在前 20% 步信息损失过快，导致 score function 在 $t$ 接近 1 时处于病态区间；cosine_sqrt 在中段 $(0.4, 0.7)$ 提供更平缓的曲率；sigmoid_log 则在两端留出"自由扩散"的窗口，允许 score 在低曲率区间内多次回弹。生产部署中，调度切换 $\alpha \to \alpha'$ 几乎等价于改变数据流形的局部坐标——这是连续 AR 范式里根本不存在的一类超参。从信息论角度说，$\alpha(t)$ 的导数 $\dot{\alpha}(t)$ 决定了每一步注入到序列里的互信息量——$\dot{\alpha}$ 越大，去噪信号越强但方差也越大；$\dot{\alpha}$ 越小，过程越平滑但收敛越慢。三种调度本质上是"信息-方差"曲线上三个不同的折中点。LLaDA 选 linear 是为了训练稳定性（每步互信息可预估），Mercury 选 cosine_sqrt 是为了推理质量（中段曲率低，score 估计方差小），Seed Diffusion 选 sigmoid_log 是为了"前向/反向对称性"（让 $q$ 和 $p_\theta$ 的 KL 散度沿时间轴对称）。生产上若要在三种调度之间切换，需要重新校准 step count——linear 调度 $T=64$ 等价于 cosine_sqrt 的 $T=128$，等价于 sigmoid_log 的 $T=96$，这一换算系数随长度 $L$ 二次方增长，是部署时最常被忽视的隐式超参。

四、双向注意力的信息几何：无因果掩码的 attention 流

自回归 LLM 的 $\text{Attn}(Q, K) = \text{softmax}(QK^\top / \sqrt{d} + M_{\text{causal}})$ 把信息流压成单向 DAG。扩散 LLM 反过来：$\mathbf{x}_t$ 是一整句的"半成品"，$M_{\text{causal}} = 0$，于是 $i \leftrightarrow j$ 双向信息流同时打开。形式上，$\text{Attn}_{\text{bi}}(Q, K)$ 在 $(i, j)$ 二维格点上产生一个对称耦合矩阵，其谱分解的主导本征向量不再按位置序排列，而是按"语义聚类"排列。

更关键的是，双向注意力下每个 token 的有效上下文半径从 1 跳到了 $L$。这等价于把序列的"信噪比"从 $\text{SNR}_{\text{AR}} = O(1/L)$ 提升到 $\text{SNR}_{\text{bi}} = O(1)$，从而解释了为什么 8B 的 LLaDA 能在多项 choice 任务上追平 70B AR 基线——它把"参数容量"换成了"并行信息通道"。但代价同样存在：双向注意力打破了"位置 = 推理顺序"的隐式假设，需要重新设计位置编码（ALiBi-2D、RoPE-bidir 是当前主流方案）。

五、并行接受率的统计力学：从 Speculative Diffusion 到 n-gram acceptance

工程上最反直觉的事实是：扩散 LLM 的去噪过程天然支持并行接受。给定 $\mathbf{x}_t$ 与当前预测 $p_\theta(\mathbf{x}_0 | \mathbf{x}_t)$，我们可以一次性生成 $K$ 个候选 token $\{x^{(i)}\}$，并以联合接受率

一次性接受或拒绝整批。Seed Diffusion 在 $K=4, t=0.3$ 处报告 $A \approx 0.87$，这意味着平均每 4 个并行猜测中有 3.5 个可以被同时接受——相对于 AR 的 1-by-1 接受，这是 3.5× 的吞吐增益。该接受率服从带漂移的二项分布：

这一统计量是把"扩散 LLM 落地"和"实验室玩具"分开的关键阈值：$A < 0.5$ 时并行猜测几乎没有加速，$A > 0.8$ 时退化为近似确定性。与 Speculative Decoding 的关键差异在于：Speculative Decoding 的接受率受"草稿模型与目标模型的 KL 散度"上限制约，而扩散并行接受率受"score 在当前位置的不确定度"上限制约——前者是模型间的匹配度问题，后者是数据流形本身的局部几何问题。工程上，这意味着扩散并行接受率对批次大小更不敏感（同一句子在 $K=4$ 和 $K=16$ 时的 $\bar{p}(t)$ 几乎相同），而 Speculative Decoding 的接受率随 $K$ 指数下降。这一性质使扩散 LLM 在长文本生成（4K-16K tokens）下相对 AR 优势更显著——Seed Diffusion 在 4K 长度上报告的相对加速比是 8×–10×，而 Speculative Decoding 在相同长度上仅 2×–3×。

六、Score function 的去噪曲率：流形学习视角

数据流形 $\mathcal{M} \subset \mathbb{R}^d$ 的曲率 $H$ 决定了 score function $\nabla \log p$ 沿曲面的法向分量与切向分量之比。Tweedie 公式给出

其中 $\sigma_t^2 = 1 - \alpha_t$。当 $\mathcal{M}$ 的主曲率 $\kappa_{\max}$ 超过 $1/\sigma_t$ 时，score 估计的方差爆炸，扩散过程会陷入"在曲率奇点处反复震荡"的退化。LLaDA 的实证观察是，双句交界处（句号、问号附近）的 $\kappa_{\max}$ 显著高于句子内部——这意味着 score 在分句处方差最大，恰好对应"模型最容易在分句处幻觉"的工程经验。Mercury 的应对方案是引入曲率感知调度 $\alpha(t, i) = \alpha(t) \cdot (1 - \beta \cdot \kappa_i)$，对高曲率位置 $i$ 加大去噪粒度。

七、对工程实践的推论

基于上述几何视角，五条工程建议可以在不重新训练的前提下显著提升部署质量。第一，双句交界处引入 1.3× 的去噪步数补偿——这是曲率感知的廉价实现，比无脑加步数快 2–3×。第二，并行接受窗口 K 不应超过当前 step 的 $\bar{p}(t) \cdot L$——超过此值后接受率按 $(1-\bar{p})^K$ 指数塌缩，是浪费算力的甜蜜陷阱。第三，双向注意力训练时把 batch size 翻倍——双向 attention 的有效信息量是 AR 的 $O(L)$ 倍，batch 不翻倍会导致训练-推理失配。第四，位置编码必须用 ALiBi-2D 或 RoPE-bidir，任何单向 RoPE 都会把双向 score 压回单向链。第五，评测时同时跑 AR 和 diffusion 两条基线——单纯看 NLL/PPL 会被 AR 的"长度归一化优势"欺骗，diffusion 的真实能力在并行接受率 + 长度外推两个维度上才能体现。第六，部署时把 $A(K, t)$ 监控纳入 SLO 看板——这是 diffusion 范式相对 AR 范式唯一新增的可观测信号，告警阈值建议 $A < 0.6$（低于此值说明 score 估计退化，可能是 prompt 分布漂移或训练-推理不匹配）。

八、局限与对比

扩散 LLM 不是 AR 的银弹替代品。它在三类任务上仍然弱于 AR：(a) 极短输出（< 32 tokens）下，AR 的 1-by-1 自回归比扩散的整句去噪节省 70%+ 算力；(b) 严格位置敏感任务（密码、URL 拼接），双向 attention 的"位置 = 推理顺序"假设被破坏；(c) in-context 学习下，AR 的"前文 → 后文"链式结构比扩散的"全局去噪"更贴合 few-shot 推理。Discrete Flow Matching（如 DFN-VLM）是介于 AR 与 diffusion 之间的中间范式，它保留 AR 的链式分解但用连续流匹配代替 token 采样，是当前学界比较看好的第三条路。

九、给研究者：四个开放问题与评测建议

开放问题一：在**$L \to \infty$ 极限下，扩散 LLM 的 score 是否收敛到数据流形的几何平均？目前没有形式化证明，但 Mercury 在 16K 长度上的去噪稳定性给出了一定证据。开放问题二：能否把强化学习**（GRPO/RLVR）的偏好信号直接注入到 score matching 损失中？这是把 RLHF 从 AR 范式"翻译"到 diffusion 范式的核心。开放问题三：离散 score 在 $\mathbb{Z}^L$ 网格上是否等价于某个连续流形的 Morse 理论？这一联系若成立，diffusion 的拓扑学就有了新的入口。开放问题四：多模态扩散（文 + 图 + 音）是否能在共享 score function 下统一？这是 2026 H2 学术界最可能产生突破的方向。

评测建议：(a) 必跑 GSM8K、MATH-500、HumanEval、MMLU-Pro 四项；(b) 必跑 diffusion-specific 指标 $\bar{p}(t)$、$A(K, t)$、$\kappa_{\max}$；(c) 对照基线至少包含 3 类：同尺寸 AR、同尺寸 Discrete Flow、跨尺寸 AR+1B 参数；(d) 长度外推用 passkey-retrieval-256K 而非 NIAH-1M，因为前者更能反映双向注意力的实际可达范围。

参考文献

1. Nie, S., et al. (2025). Large Language Diffusion Models. arXiv:2502.09992. (LLaDA)
2. Mercury Team. (2025). Mercury: Ultra-fast Language Models based on Diffusion. arXiv:2506.00898.
3. Song, Y., et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR 2021.
4. Ho, J., et al. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020.
5. Austin, J., et al. (2021). Structured Denoising Diffusion Models in Discrete State-Spaces. NeurIPS 2021.
6. Campbell, A., et al. (2022). Continuous Time Discrete Diffusion Models. arXiv:2211.16728.
7. Gat, I., et al. (2024). Discrete Flow Matching. NeurIPS 2024.
8. Shi, J., et al. (2024). Simplified and Generalized Masked Diffusion Models. arXiv:2406.04329.
9. Zhao, Y., et al. (2025). Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference. arXiv:2504.19446.
10. Tweedie, M. C. K. (1984). An Index Which Distinguishes between Some Important Exponential Families. Statistics: Applications and New Directions.
11. Press, O., et al. (2022). ALiBi: Train Short, Test Long. ICLR 2022.
12. Su, J., et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. Neurocomputing.
13. Leviathan, Y., et al. (2023). Fast Inference from Transformers via Speculative Decoding. ICML 2023.
14. Chen, C., et al. (2023). Accelerating Large Language Model Decoding with Speculative Sampling. ACL 2023.
15. Efron, B. (2011). Tweedie's Formula and Selection Bias. Journal of the American Statistical Association.