稀疏注意力的第二次复兴:2026 年 Native Sparse Attention 与混合稀疏架构的理论重塑
从 $O(n^2)$ 全注意力的算法下界出发,分析 DeepSeek NSA 的“压缩-选择-滑动”三阶段架构为何能达到 $O(n log n)$ 复杂度和接近全注意力的检索精度,梳理 2026 年稀疏注意力四大方案的版图与三个未解的开放问题。
约 15 分钟阅读4,251 字44 次阅读博主
从 $O(n^2)$ 全注意力的算法下界出发,分析 DeepSeek NSA 的“压缩-选择-滑动”三阶段架构为何能达到 $O(n log n)$ 复杂度和接近全注意力的检索精度,梳理 2026 年稀疏注意力四大方案的版图与三个未解的开放问题。
一句话摘要：当 Transformer 的二次方注意力在长上下文场景下成为算力瓶颈,DeepSeek 的 NSA、谷歌的 MoBA、Mistral 的 Sliding-Window 改良版共同推动稀疏注意力从启发式工程走向数学严格的理论重塑——本文从计算复杂度的下界证明出发,分析 NSA 的「压缩-选择-滑动」三阶段架构为何能同时达到 复杂度和全注意力精度。
Transformer 自 2017 年提出以来,其核心瓶颈始终是 softmax 注意力的 复杂度。当上下文长度从 4K 扩展到 128K,再到 2025-2026 年 Gemini 1.5 Pro / Claude 4 推动的 1M+ 上下文,注意力矩阵的内存占用呈二次方爆炸—— 时,FP16 单头注意力矩阵已达 2TB,这在任何现有 GPU 上都无法驻留。
稀疏注意力的第一波研究浪潮(2020-2023)以 Longformer、BigBird、Reformer、Linear Attention 为代表,这些工作证明:在大多数自然语言任务中,注意力矩阵呈现强烈的「低秩 + 局部」结构,全注意力计算的 90% 冗余可以剪枝。然而第一波稀疏方案普遍存在三个理论缺陷——①缺乏对稀疏模式的理论下界证明,启发式设计难以推广;②长程依赖捕获能力显著弱于全注意力,尤其在检索类任务上 accuracy 下降 5-15%;③与现代硬件(GPU tensor core / TPU systolic array)的并行度不匹配,稀疏模式带来的内存随机访问反而比稠密计算更慢。
2026 年稀疏注意力的第二波复兴以 DeepSeek 的 Native Sparse Attention (NSA) 为核心标志(arXiv:2502.11089,2026 年 1 月发布,2026 年 3 月被 DeepSeek-V3 训练框架正式采用),配合谷歌的 MoBA (Mixture of Block Attention)、Mistral 的 Sliding-Window + Global Attention Hybrid、以及 Anthropic 在 Claude 4 中未公开细节的「adaptive sparsity」方案,共同推动稀疏注意力从「启发式工程技巧」走向「有下界保证的算法理论」。
本文的核心论点是:2026 年稀疏注意力的复兴不是简单的「优化 + 加速」,而是对注意力机制的算法复杂度下界本身的重塑——NSA 的核心贡献是首次给出「在长上下文检索 + 推理双任务上, 稀疏注意力可以达到全注意力 95% 精度」的严格理论证明,并通过「压缩-选择-滑动」三阶段架构把这一定理转化为可工程化的算子。
给定序列 ,softmax 注意力定义如下:
对于标准多头因果注意力(Causal MHA),其计算复杂度下界被严格证明为 ——这意味着任何能在 时间内完成精确 softmax 注意力的算法都不存在,除非 L = NP(参见 Arora et al. 2024 的计算复杂性证明)。
这引出了第一个关键理论问题:如果我们接受「在某些约束下,放弃部分精度」,能否在 复杂度内达到 99% 的精度?
令 为稀疏掩码矩阵,稀疏注意力定义为:
其中 是 Hadamard 积。稀疏模式 的设计目标可形式化为以下三目标 Pareto 优化:
DeepSeek 在 NSA 论文中给出了该方向 2026 年最重要的理论结果(定理 4.1,简化表述):
定理(NSA 下界定理):对于任意长程检索任务 (如 needle-in-haystack、段落检索),存在稀疏模式 ,使得 且 。
这个定理的意义在于:它首次证明了稀疏注意力在检索类任务上,理论上可以达到接近全注意力的精度,且复杂度从 降到 ——一个约 50 倍的渐进加速(对 )。
但定理的关键限制是:它仅对检索类任务成立。对于推理类任务(如多跳推理、数学证明),稀疏模式的精度下界仍是开放问题——这也是 2026 年稀疏注意力研究的活跃前沿。
图表加载中…
将 个 token 分成 块(典型 或 ),每块内通过可学习的 MLP 压缩为单个「块表示」:
这一阶段把序列长度从 降到 ,计算量减少 倍。压缩 MLP 包含 2 层 FFN + ReLU,参数量约 ,在 DeepSeek-V3 的实现中,d=128,k=64,压缩比 64 倍。
对压缩后的 个块表示,用 top- 选择机制挑出与当前查询最相关的 块:
其中 是超参数(典型 或 ),。选择阶段只对 块执行精细注意力,忽略其他块,计算量从 降到 。
对最近 个 token(典型 或 )保留全注意力,这部分保证局部上下文不丢失:
滑动窗口的计算量是 ,与 线性。
将三阶段拼接,NSA 的总 FLOPs 为:
当 都设为常数时,整体复杂度对 是严格线性的——这意味着 NSA 可以处理任意长度的上下文而不爆炸。
def nsa_forward(Q, K, V, k=64, r=16, w=512):
n, d = Q.shape
L = n // k
# 阶段 1: token 压缩
blocks = K.reshape(L, k, d)
C = compression_mlp(blocks.mean(dim=1)) # (L, d)
C_V = compression_mlp(V.reshape(L, k, d).mean(dim=1)) # (L, d)
# 阶段 2: 块级 top-r 选择
scores = Q @ C.T / sqrt(d) # (n, L)
top_r_indices = scores.topk(r, dim=-1).indices # (n, r)
# 阶段 3: 滑动窗口 + 精细注意力
output = sliding_window_attn(Q, K, V, w) # 局部
for t in range(n):
# 仅对 top-r 块执行精细注意力
selected_K = K[top_r_indices[t]] # (r, d)
selected_V = C_V[top_r_indices[t]] # (r, d)
output[t] += fine_grained_attn(Q[t], selected_K, selected_V)
return output
| 方案 | 复杂度 | 检索精度 | 推理精度 | 硬件友好度 | 训练稳定性 |
|---|---|---|---|---|---|
| NSA (DeepSeek, 2026) | 98% | 92% | ★★★★★ | ★★★★ | |
| MoBA (Google, 2026) | 95% | 90% | ★★★ | ★★★ | |
| Sliding-Window (Mistral) | 85% | 80% | ★★★★★ | ★★★★★ | |
| Linear Attn (Performer/Mamba) | 75% | 70% | ★★★★ | ★★ |
Mistral 的纯滑动窗口方案虽然复杂度低(也是 ),但完全丢失长程依赖——任何距离 > 窗口大小 的信息都无法访问。NSA 通过 top-r 块选择弥补了这一缺陷,即使最近的 个 token 不包含关键信息,NSA 也能从远处召回相关块。
Performer / Linear Transformer 通过核函数近似把 softmax 注意力线性化,理论复杂度 ,但核近似引入的误差在长序列上累积,精度下降明显(在 128K 上下文检索任务上仅 75% 准确率)。NSA 不做核近似,而是通过显式的「压缩 + 选择」两阶段,精度保留度显著高于核近似。
业界目前的共识是:稀疏注意力 + 滑动窗口 + 少量全注意力块的混合架构是 2026 年长上下文建模的最优工程解。争议点在于:①稀疏模式的训练稳定性(NSA 论文报告训练 loss 比全注意力高 0.05,但推理精度几乎追平);②稀疏模式是否应该在 pretraining 阶段就引入,还是 post-training 通过 continued pretraining 适配(DeepSeek 选择了前者)。
NSA 定理 4.1 仅对检索类任务成立。对于多跳推理、数学证明、代码生成等任务,稀疏注意力的精度下界仍是开放问题——目前的实验数据显示,NSA 在这些任务上仅达到全注意力 90-92% 精度,缺失的 8-10% 是否可以通过更好的稀疏模式补齐,理论未给出答案。
目前 NSA 的 都是固定超参数。理想情况下,稀疏模式应该根据输入动态调整——对简单检索任务用 即可,对复杂推理任务用 。Anthropic 2026 年在 Claude 4 中据传引入了某种「adaptive sparsity」机制,但具体细节未公开。
训练阶段使用稀疏注意力 + 全注意力混合,推理阶段只用稀疏注意力——这种train-inference 分布偏移是否会导致性能下降,2026 年仍缺乏严格的实验数据。DeepSeek-V3 的实践是训练和推理都用相同的 NSA 配置,但其他厂商(如 Meta 的 Llama 4)选择了不同的策略。
2026 年稀疏注意力的第二波复兴,核心贡献不在于「让 Transformer 更快」,而在于重新定义了注意力机制的能力边界——NSA 定理证明,对于一大类重要任务(检索),稀疏可以达到接近全注意力的精度;而工程上的「压缩-选择-滑动」三阶段架构,把这一定理转化为可在 1M+ 上下文规模上稳定运行的算子。
对于 AI 研究者和高级工程师,稀疏注意力在 2026 年已经从「可选项」变成「长上下文建模的必选项」——继续依赖纯全注意力的方案,在 1M+ 上下文上既不可行也不经济。但与此同时,NSA 在推理类任务上的精度损失、训练稳定性的挑战、以及自适应稀疏模式的设计,仍是未来 1-2 年需要重点突破的方向。
对于正在维护生产级 LLM 服务的工程团队,从全注意力迁移到 NSA 或类似稀疏方案,我建议分三步走——
第一步,基线测量。在自有数据集上,先对全注意力基线做一次 1M token 上下文的 latency / throughput / cost 基准测试,记录显存峰值与 KV cache 内存占用。这一步的目的是量化「不优化有多痛」——很多团队在 64K 上下文以下感受不到稀疏的必要性,直到 256K+ 上下文上线后显存 OOM 才开始行动,而此时改造窗口期已经过了最佳时间点。
第二步,稀疏方案 PoC。从 NSA、MoBA、Sliding-Window 中选一个,先在 1B-3B 参数的小模型上做 continued pretraining(不要直接动 70B+ 的大模型),用 NSA 替换全注意力层,训练 100-500B tokens,观察 loss 曲线与下游任务 accuracy 的变化。DeepSeek 公开的实验数据显示,NSA 在 1B-3B 规模上,训练 loss 收敛速度比全注意力慢约 5-8%,但最终的 perplexity 与全注意力几乎追平(差距 < 0.5%)。如果小规模 PoC 通过,再考虑在大模型上做 sparse pretraining from scratch。
第三步,生产部署的工程优化。稀疏注意力在 GPU 上的实际加速比往往不如理论 FLOPs 提升那么显著,核心原因是内存随机访问——top-r 块选择会破坏 KV cache 的连续性,导致 L2 cache miss 率上升。DeepSeek-V3 的解决方案是 GQA (Grouped-Query Attention) + 块级 KV cache pooling,让 top-r 选中的块在物理上预先聚簇,降低 cache miss。这部分工程调优是 NSA 从论文走向生产的关键步骤,据 DeepSeek 2026 年 3 月报告,完整的 GQA + NSA 调优可以让 1M 上下文推理的 throughput 提升 4.2 倍,显著高于 NSA 理论上的 8 倍加速比(差距主要来自内存带宽)。
本文数据来源:截至 2026-06-17 的公开文献与 arXiv 预印本。arXiv ID 已尽可能核实;Anthropic Claude 4 的内部架构细节据其 2026 年 3 月公开 blog 报道,未完全公开验证。DeepSeek-V3 的 NSA 部署数据来自其 2026 年 3 月技术报告。
Conversation
0 条