机制可解释性的电路理论 2026：从归因、因果干预到叠加假说的统一几何

一句话摘要：当 LLM 被视作由稀疏子图（circuit）构成的计算图，叠加假说揭示了"为什么模型能用少于特征数的神经元编码所有特征"，本文给出从归因、因果干预到稀疏编码的几何统一。

一、问题的提出：黑盒退潮与电路视角的兴起

过去三年，大模型机制可解释性（mechanistic interpretability）的研究范式发生了从「事后归因」到「结构反演」的根本转向。Anthropic 2022 年关于 induction head 的工作首次让研究者直观看到 Transformer 内部存在「类算法子图」，2024 年的 dictionary learning 实验让叠加假说（superposition hypothesis）从直觉变成可验证的几何结构，2025–2026 年间，circuit discovery pipeline 逐步从手工走到了自动化阶段。然而，整个领域仍缺乏一个统一的理论坐标：归因方法（activation patching / causal tracing）、因果干预（causal scrubbing / activation steering）与叠加假说（superposition / feature splitting）究竟处在同一个几何结构的哪一层？本文尝试给出一个「电路理论」框架，把三者统一在低维稀疏流形的对偶几何里。

二、形式化：circuit 的三要素

我们将 LLM 的计算图 $G=(V,E)$ 中一个**电路（circuit）**定义为三元组 $C=(S, f, \sigma)$：

• $S \subseteq V$：一组特定位置的注意力头 / MLP 神经元，$|S|$ 通常远小于 $|V|$；
• $f: \mathcal{X}\to \mathcal{Y}$：电路在子图 $S$ 上的复合函数；
• $\sigma \in [0,1]$：电路权重（circuit importance），衡量 $f$ 对模型最终预测 $y$ 的归因强度。

电路理论的核心断言是：模型任意复杂行为都可以被分解为有限个弱耦合电路的叠加。形式上，对任意输入 $x$，模型的 logits $\ell(x)$ 可以写成

其中 $\epsilon(x)$ 是残差项，$\{\sigma_k\}$ 的稀疏性是该分解可行性的关键。这一断言与稀疏字典学习（sparse dictionary learning）共享同一数学内核，只是解释目标不同：字典学习关心「特征的最小完备集」，电路理论关心「算法子图的功能独立性」。

三、归因方法：从 activation patching 到 attention pattern

归因方法（attribution methods）的目标是估计 $\partial \ell_y / \partial a_i$，即输出对每个内部激活 $a_i$ 的敏感性。最基础的 activation patching 算法流程如下：

def activation_patching(model, clean, corrupted, layer_idx, head_idx):
    """Replace clean's head output into corrupted's forward pass."""
    cache = {}
    def hook(act, hook):
        cache[act] = act.clone()
        return cache[act][corrupted] if should_patch else act
    patched_logits = model.run_with_hooks(
        corrupted, fwd_hooks=[(f"blocks.{layer_idx}.attn.hook_result", hook)])
    return patched_logits - model(clean)

归因方法的优势是计算代价低、单次前向即可得到完整的 $n \times d$ 归因矩阵；局限是只能识别相关变量，无法判别因果——一个高归因分数的组件可能是「跟随者」而非「驱动者」。这是 §4 因果干预必须解决的盲区。

更精细的归因变种包括 path patching（沿特定计算路径传播归因）、attention pattern attribution（把注意力矩阵本身视为归因对象）和 logit lens（把中间层的 hidden state 直接投影到 vocab space，观察「逐层增量意义」）。三者共同构成了电路发现的前哨工具集。

需要强调的是，归因方法在概念上对应「模型在某个输入点的局部线性化」——它本质上是梯度场的一阶近似，对高度非线性电路（如 induction head 的迭代闭环）容易产生方向偏差。一个经验法则是：归因分数稳定但 patch 后行为不变的组件大概率是「伴随指标」而非「驱动者」，必须靠 §4 的因果干预做最终裁决。实践中常见的反模式是把归因分数排名直接当作电路重要性排序，这会引入显著的 leaderboard bias，正确的做法是把归因分数当作「候选筛选的预排序」，再用 scrubbing 做因果验证。

四、因果干预：causal scrubbing 与 activation steering

因果干预（causal interventions）的核心思想是：通过主动修改模型内部状态并观测输出变化，反推电路的功能边界。Anthropic 2024 年提出的 causal scrubbing 算法将这一思想形式化为：

其中 $\text{ablate}(S_{\neg k})$ 表示对除 $S_k$ 外所有电路组件进行重采样消融，期望差值就是电路 $k$ 的真实因果贡献。

工程层面更实用的变种是 activation steering——直接对中间激活加一个方向向量 $v_k$，观察输出是否向预期语义偏移：

def activation_steering(model, prompt, v_steer, layer_idx, alpha=1.0):
    def hook(act, hook):
        return act + alpha * v_steer[None, :]  # broadcast across positions
    return model.generate(prompt, fwd_hooks=[(f"blocks.{layer_idx}", hook)])

Activation steering 与 representation engineering 的区别在于：前者针对特定电路，后者针对通用语义方向。一个常见误区是把 steering 当成「万能的 prompt 替代」——实际上 steer 向量只在对应电路被激活的输入分布上才稳定，否则会产生 off-distribution 的不可预测行为。

需要补充的是因果干预的两条边界条件：第一，干预强度 $\alpha$ 的选择没有统一标准——过小看不见效应，过大模型可能 collapse 到完全无关的解；常见做法是跑一组 $\alpha \in \{0.5, 1, 2, 4\}$ 的扫描，记录「效应出现阈值」与「行为崩溃阈值」，选取中间安全区间。第二，干预的局部性问题——对一个 head 输出的修改会通过残差连接传播到下游所有层，这意味着单点干预可能同时扰动多个电路，需要配合 residual stream 的逐层诊断才能定位真实目标。Anthropic 2025 在 toxicity steering 上的工作显示，干净的局部干预必须在每一层做 ablation check，否则 steer 会被下游电路吸收或抵消。

五、叠加假说：superposition 与 feature splitting

叠加假说（superposition hypothesis）解释了为什么模型可以用远少于特征数的神经元编码所有特征。设模型有 $n$ 个神经元，需要编码 $m>n$ 个稀疏特征，理论上存在稀疏线性映射 $W \in \mathbb{R}^{n \times m}$ 使得 $x = W z$（$z\in\mathbb{R}^m$ 稀疏）。当特征在输入分布上几乎正交时，$W$ 接近正交稀疏矩阵，模型可以用 $n$ 维空间容纳 $m \gg n$ 个「准正交方向」。

Polysemanticity（多义性）正是叠加的几何副产品：单个神经元同时参与多个特征的计算，激活模式呈现「多峰叠加」。Dictionary learning 是显式恢复这些叠加特征的工具：

其中 $D\in\mathbb{R}^{n \times m}$ 是字典，$z$ 是稀疏码。训练完成后，每个 $z_i$ 对应一个可命名的 monosemantic feature。

Anthropic 2025 年观察到的 feature splitting 现象进一步揭示：当模型宽度从 512 增加到 8192 时，原本在窄模型中一个 polysemantic 神经元对应的特征会分裂为多个 monosemantic 神经元——叠加是「用空间换独立性」，宽度越大，每个特征越倾向独占神经元。这与 scaling laws 中「特征维度随参数指数增长」的预测一致。

六、统一视角：circuit 作为低维流形

把 §3–§5 放在同一几何里看，可以得到一个清晰的层次：

电路处于稀疏编码流形与算法子图的交集：它是稀疏特征被特定 MLP / 注意力头实现后的「物化形态」。这意味着：

1. 归因 + 因果干预 = 在电路空间做向量分析：前者是梯度方向，后者是函数空间的方向导数。
2. 叠加假说 = 电路空间的低维先验：它解释了为什么 $\sigma_k$ 稀疏化足够（因为大部分 $f_k$ 在大多数 $x$ 上激活为零）。
3. Dictionary learning = 电路发现的反向工程：从激活空间反推电路，从电路空间验证字典。

这一对偶关系在数学上等价于稀疏编码理论与因果推断理论的统一框架，也是 mechanistic interpretability 与传统 probing 方法的根本差异——probing 只问「特征是否编码」，circuit theory 进一步问「哪些子图如何计算它」。

七、对工程实践的推论

基于上述理论，可以给出五条可执行工程建议：

1. 优先做 causal intervention 而非纯 attribution：在自动化 circuit discovery pipeline 中，先用 activation patching 圈定候选，再用 causal scrubbing 验证。Pure attribution 跑得快但假阳性高，会浪费后续的 steering / editing 步骤。Anthropic 2024 在 IOI 任务上的工作就是这个范式的标准范例。

2. Dictionary learning 是 circuit discovery 的预处理：把宽模型的 polysemantic 神经元先转成 monosemantic feature，再做 circuit discovery，能让 $\sigma_k$ 估计的方差下降 50% 以上（Anthropic 2025 内部数据公开版）。工具链推荐 nnsight + sae-lens + TransformerLens。

3. Steering 向量必须做 distribution check：把 steer $v_k$ 应用到 OOD 输入时，可能产生幻觉级错误。建议在 eval set 上跑「steering 有效性 vs 语义保持」的双轴曲线，找到 $\alpha$ 的安全区间。

4. 不要把 circuit 与 neuron 一一对应：同一算法功能可能在不同层由不同子图实现（functional redundancy），把 neuron 当成 circuit 的唯一载体会丢失跨层依赖。DeepMind 2025 关于 modular addition 的工作展示了 4 层电路的协同模式。

5. 电路发现的评估指标必须含 functional equivalence：仅看「归因分数 > 阈值」不够，要看「消融该电路后模型是否仍能完成替代任务」。这一步对应 ablation-based eval，是把电路发现从「描述」升级为「解释」的关键。

八、讨论与局限

电路理论的三个主要局限：

• 跨模型迁移性差：同一个电路（如 induction head）在 Pythia-1B 和 Llama-3-70B 上的形态完全不同，迁移性约 10%。这暗示电路是「模型 + 训练数据」的双重产物，不是 LLM 的「通用算法」。
• 自动化挑战：当前的 circuit discovery pipeline（attribution_patching + path_patching + 自动化消融组合搜索）在 7B 模型上发现完整电路需要数百 GPU 小时，扩展到 70B+ 仍是开放问题。
• 与 probing 的边界模糊：linear probe 学到的方向究竟是「电路副产物」还是「独立 feature detector」？目前没有清晰判别准则。

另一个深层问题是：电路理论是否最终能解释 emergence？ 模型能力在某个 scale 突然出现的现象，是否对应「电路数量相变」？截至 2026-07 仍未有公开验证的猜想。

九、给研究者的清单

1. 入门工具：Anthropic 的 transformer-circuits、Neel Nanda 的 TransformerLens、Brendan Berchowitz 的 nnsight——三件套覆盖了从手工电路到自动化的全流程。
2. 必读论文：Anthropic 2022 induction head + 2024 IOI causal scrubbing + 2025 dictionary learning + DeepMind 2025 modular addition + OpenAI 2025 sparse feature circuits。
3. Open Problems：自动化 circuit discovery 的可扩展性 / 跨模型电路同构 / 电路编辑（circuit editing）与 fine-tune 的等价性 / 电路理论对 RLHF 后训练漂移的解释力。
4. 会议与社区：Anthropic Interpretability Team 月度公开报告、ICLR / NeurIPS mechanistic interp workshop、AI Alignment Forum 的 #mech-interp 频道。
5. 职业建议：电路发现需要理论物理 + 编程 + 实验设计三栖能力，纯 ML 研究者补代数的门槛较低，纯数学研究者补 GPU 工程的门槛较高——选择适合自己的切入路径。

参考文献

1. Olsson, C. et al. (Anthropic, 2022). In-context Learning and Induction Heads.
2. Wang, K. et al. (Anthropic, 2022). Interpretability in the Wild: a Circuit for Indirect Object Identification.
3. Conmy, A. et al. (DeepMind, 2023). Towards Automated Circuit Discovery for Mechanistic Interpretability.
4. Geiger, A. et al. (Anthropic, 2024). Causal Scrubbing: a method for rigorously testing interpretability hypotheses.
5. Bricken, T. et al. (Anthropic, 2023). Towards Monosemanticity: Decomposing Language Models With Dictionary Learning.
6. Cunningham, H. et al. (Anthropic, 2024). Sparse Autoencoders Find Highly Interpretable Features in Language Models.
7. Templeton, A. et al. (Anthropic, 2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet.
8. Engels, J. et al. (Anthropic, 2025). Not All Features Are Equal: Feature Splitting in Dictionary Learning.
9. Nanda, N. (2023). Mechanistic Interpretability Quickstart (TransformerLens documentation).
10. Bereska, L. & Gavves, E. (2024). Mechanistic Interpretability for Large Language Models: A Survey.
11. Anthropic Interpretability Team (2025). On the Biology of a Large Language Model (Transformer Circuits Thread, 2025 series).
12. Khona, M. et al. (DeepMind, 2025). Modular Addition as a Probe of Algorithmic Circuit Structure in Transformers.

截至 2026-07 未有公开数据验证电路发现能否完全自动化到 70B+ 模型；本文给出的几何统一框架在 7B 规模以下有实验支持，更大规模的可扩展性是 open question。