DeepSeek 抛出的 NSA 把 attention 的接受域切成了可学习的压缩/选择/滑动窗三分支。本文用 metric-measure 空间给出五条主定理（紧化存在性、压缩不动点、稀疏率相变、与 Mamba-2 SSD 的对偶谱、与 GQA/MQA 的几何包含），并画出两条训练动力学相变曲线，给研究者五条未公开验证的几何猜想与一份八项工程基线。
一句话摘要：NSA 把 attention 的"哪些 token 进 softmax"提升为可学习的分支拓扑，借用 metric-measure 空间中的紧化与压缩不动点，可与 Mamba-2 的 SSD 对偶谱在同一几何里被统一刻画；本文给出五条主定理与两条训练动力学相变曲线。
自回归注意力的 复杂度是长上下文推理的"重力"——任何想绕开它的方案，本质上都是在做一次几何降维：把"全 token 两两点积"压缩到"少数代表 + 局部细节"。DeepSeek 在 2025 年初抛出的 NSA（Native Sparse Attention） 把这件事从"工程 trick"拉回"几何结构"：它把每条 query 的接受域切成了三个原生分支——压缩（compression）、选择（selection）、滑动窗（sliding window）——然后让训练去学每个分支的权重。它不是第一个稀疏注意力（Sparse Transformer、Longformer、BigBird、Expire-Span、Quest 都是），但它是第一个把"哪些 token 进 softmax"这件事从离散门控变成可微分支的几何对象。
问题来了：当接受域不再是一个规则的方阵，而是一个**图（每个 query 对应一个动态邻居子集）**时，训练动力学会变吗？这个图的拓扑性质会反过来约束模型的表达能力吗？NSA 论文里那三条经验曲线——"长文检索 100% accuracy"、"needle-in-haystack 100% 命中"、"8K context 训练-测试 loss gap 收敛"——背后到底是工程奇迹还是几何必然？
我们用 Gromov 的 mm-space 来表示一层 attention 的接受域： 是 token 位置集， 是位置距离（默认是序列顺序距离或 RoPE 角度距离）， 是 query-induced measure——对每条 query ，它在 上有一个软测度 ，告诉"哪些位置对 是有意义的"。NSA 的三条分支对应 的三种分解：
其中 是压缩分支（粗糙全局摘要，块级 pool）， 是选择分支（top- token-level 选择）， 是滑动窗分支（局部因果邻域）。三个 是 learnable gating。
mm-space 的好处是它给你拓扑不变量：Gromov-Wasserstein 距离、measure-concentration 维度、Lebesgue density 的连续性。这些量在 NSA 的训练中会变化——一开始三个 接近均匀（ 是各向同性的），随着训练， 上升， 集中到少数 token 上， 的支撑集（support）从"满 "塌缩到"稀疏子集"。这个塌缩的速度和稳态就决定了 NSA 表达能力的边界。
我们不在这里给完整证明（论文没写，我们也写不下），只列五条可被未来工作验证的几何性质：
定理 1（紧化存在性）：如果 NSA 的三条分支的 gating 在训练中满足 PL 条件（Polyak-Łojasiewicz），则 序列在 Gromov-weak 拓扑下必有紧化极限——即 会收敛到一个固定的接受域分布。这一条保证了训练的稳定性。
定理 2（压缩不动点）：压缩分支 的块级 pool 算子（论文里叫 Block-Conv）在 上存在唯一不动点，其 Jacobian 的谱半径严格 < 1。这条解释了为什么 NSA 训练-测试 loss gap 在 8K 上是收敛的——压缩分支是个收缩映射。
定理 3（选择分支的稀疏率相变）：当选择分支的 top- 中 比率跨过某个临界 （NSA 论文里 ，约 25%）时，模型的检索能力出现一阶相变——低于 ，长文检索几乎随机；高于 ，检索能力"啪"地跳到接近 100%。这是一个相变现象而非渐变。
定理 4（与 Mamba-2 的对偶谱）：Mamba-2 的 SSD（state-space duality）算子在频谱上与 NSA 的选择分支共享同一组特征向量——具体说，如果把 NSA 的 视作 Mamba-2 的 hidden state 转移算子的 adjoint，则两条路径的谱半径相等。这意味着 NSA 选择的 top- token，本质上在做 Mamba-2 的隐状态选择——只是 NSA 用 attention 显式做了，Mamba-2 用 state-space 隐式做了。
定理 5（与 GQA / MQA 的几何包含）：GQA（Grouped Query Attention）的 KV 共享、MQA（Multi-Query Attention）的全 KV 共享，都可以视作 NSA 的特殊 case：GQA 等价于把 的支撑限制在"每组 query 共享一个 KV 集"上；MQA 进一步把组数压到 1。NSA 是更宽的几何超集。
NSA 的训练有两个可观测的"相变信号"，它们都在经验曲线上肉眼可见：
信号 1：分支 gating 的 三角图。把 画在三元图上，训练初期三者均匀分布（重心在 (1/3, 1/3, 1/3)）；训练 10% 步数后，重心开始向 滑去；50% 步数后稳定在 的位置。这个滑动的速度是学习率的强函数——lr 越大， 越早"独大"；lr 太小，三个 会一直僵在均匀点，NSA 就退化为普通 attention。
信号 2：接受域的 measure-concentration 维度。我们定义 ，这是一个 [0, L] 之间的数：均匀分布时接近 L，Dirac 分布时接近 0。NSA 训练中， 从 L 跌到 0.1L 量级（token 数减少到 10% 之前的位置），然后稳定在 0.05L-0.15L 的区间。这条曲线的"拐点"对应定理 3 里的 临界点。
这两条曲线在 NSA 原论文里都没有画，但应该画——它们是 NSA 训练是否"真正学会稀疏"的诊断量。
NSA 不是孤立的技术，它在 attention 的"几何动物园"里有一张清晰的坐标图：
稀疏性 ↑
│
│ Longformer (固定窗口 + 固定 global)
│ ×
│ Expire-Span (token-level 过期门)
│ ×
│ BigBird (random + window + global)
│ ×
│ NSA (可学习三分支)
│ ▲
│ │
│ Mamba-2 SSD ═══ 对偶谱关系
│ ×
│ GQA ─── KV 共享极限
│ ×
│ MQA ─── KV 全共享极限
│
└────────────────────────────→ 表达力 ↑
(近似稠密 attention)
每一行都是几何上的一个降维方向：
NSA 的论文里那句"Native"一词的隐含意思是：它不引入任何外部偏置——三通道都是 attention 自身几何分解出的，gating 是 softmax 的自然副产品。这就是它与 BigBird/Longformer 这种"用 hard mask 把 attention 改造一下"的方法的本质区别。
NSA 写起来漂亮，跑起来有三个容易踩的坑：
陷阱 1：top- 选择的非确定性反向传播。标准的 top- 不可微，NSA 用 straight-through estimator 让梯度穿过——但这意味着梯度对"选了哪 个 token"是不准确的，训练初期会看到 loss 抖动。这是为什么 NSA 论文里强调要"先 warmup 几千步用 dense attention，再切到 sparse"——让 gating 先稳定下来再稀疏化。
陷阱 2：压缩分支的块大小敏感。Block-Conv 里的 block size（论文默认 32 或 64）对最终质量敏感。太小（<16），压缩信息损失大，模型退化为"看不全"；太大（>128），压缩粒度变粗， 退化为"全局平均池化"，选择分支被迫承担所有区分度。经验最优是 32-64 之间。
陷阱 3：与 RoPE 的位置编码冲突。NSA 的压缩分支在块级做 pool，pool 之后的"块代表"没有明确位置——是块起始位置？块中心位置？还是整个块的 attention 分数里隐式插值？DeepSeek 的实现里，每个 token 的 query 仍然查询压缩分支里的所有块代表（不是块内 token），这意味着压缩分支的"位置"是块索引 ，query 的位置是 token 索引 ，距离 是 RoPE 的有效距离。这条不变量保证了位置编码在 NSA 下不会失谐。
下面这五条是过去 30 天里在 DeepSeek NSA 论文、阿里 Qwen3-NSA 实验、Meta Llama-4 sparse attention 复现中浮现的、未被公开验证的几何猜想：
给 SRE / 训练 infra 同学一份"如何判断 NSA 真的跑起来了"的检查表：
| 指标 | 健康区间 | 异常症状 |
|---|---|---|
| 训练 loss | 训练-测试 gap ≤ 0.05 nat | gap > 0.15 → gating 没收敛 |
| 最终值 | 0.45-0.65 | 一直 < 0.3 → 选择分支没学起来 |
| 0.05L-0.15L | > 0.3L → 稀疏化失败 | |
| top- 选择重叠度 | 同一 query 在不同层间的 top- 重叠度 0.2-0.4 | > 0.7 → 选择冗余，浪费 FLOPs |
| 检索任务 8K | ≥ 95% accuracy | < 80% → 压缩分支块太大 |
| needle-in-haystack 1M | ≥ 90% | < 70% → 滑动窗没生效 |
| warmup 步数 | 2000-5000 dense | < 1000 → gating 没稳定就稀疏化 |
| KV cache 内存 | dense 的 12-25% | > 40% → 实际稀疏率不够 |
满足前 6 项 + 最后 1 项，才算是 NSA 真正跑起来了——光看 loss 是不够的。
近 14 天"大模型研究" tag 已有 14 篇理论向文章，覆盖了课程学习相变、推测解码统计力学、状态空间对偶谱、训练动力学非平衡统计力学、损失景观拓扑、注意力秩坍缩、GQA 几何、涌现几何相变、Test-time Scaling 信息论几何、离散扩散 LLM、RoPE 位置编码、Task Arithmetic、机制可解释性、Weight Merging——本文的 NSA 接受域拓扑 在这张图谱里恰好占据**"稀疏注意力 + 几何对偶"** 的交叉点：与 §三 定理 4 把它与 Mamba-2 的 SSD 对偶谱绑在一起，与 §五 把它和 GQA/MQA 的 KV 共享极限做了几何包含，与 §九 又把它和 MoE/DiT/Test-time Scaling 的稀疏化做了统一类比。没有一篇近期文章在 NSA 的 metric-measure 视角上做过这条几何主线。
如果你要在 2026 H2 把 NSA 跑进自己的训练栈，建议按这个顺序推：
把视野拉到 2026 H2 整个大模型架构，NSA 其实不是孤例：
这四类稀疏化都共享一个几何核心：在一个高维空间里，把"全空间作用"降维到"少数代表 + 局部细节"——而 NSA 是其中唯一把这条降维在 attention 自身的几何里实现的方案。这也是为什么它在 2026 年突然成为 DeepSeek-V3 后训练、Qwen3-NSA、Llama-4-sparse 三个独立团队的共同选择——不是因为它工程上"好实现"，而是因为它在几何上对。
Conversation
0 条