Agent 决策链的电路发现与行为干预形式化 2026：从机制可解释性到可信审计的统一框架

一句话摘要：把 Anthropic 风格的电路发现（circuit discovery）、激活补丁（activation patching）与因果中介分析（causal mediation）三种机制可解释性范式，统一嫁接到 Agent 多步决策链路上，形成"功能子图 → 失败切片 → 行为干预"的可信审计框架——并指出当前工具调用 ReAct 链路在这一框架下的三类开放问题。

一、问题的提出：Agent 可解释性为何要回到电路层

过去两年 Agent 系统的可观测性建设主要集中在两个层面：一是轨迹级（trajectory-level）日志，记录每一步的 prompt、工具调用、输出文本；二是探针级（probe-level）评估，用分类器在隐藏层激活上预测"agent 是否在规划"、"是否在调用工具"。前者粒度太粗——只能告诉审计者"agent 在第 3 步调了 search"，无法回答"为什么这一步调了 search 而不是 reasoning"；后者粒度又太散——探针预测出"agent 在思考"是一个事后分布匹配，并不直接揭示模型内部哪一个子图负责了这一判断。

这正是我们要回到电路层（circuit-level）的原因。所谓电路，是指模型计算图中功能上互相依赖的一组注意力头与 MLP 神经元，它们对一个特定行为（如"识别出工具调用时机"）的因果贡献可以被独立分离出来。Anthropic 在 2024 年对"沙漠岛屿识别"任务上的工作首次证明，模型内部存在一个由 26 个注意力头组成、跨越 7 层的稀疏回路，专门负责识别所有格形式的 IOI（Indirect Object Identification）行为。把这套范式迁移到 Agent 的多步决策链路上，可以同时回答两个问题：

• 结构问题：agent 在"工具选择"这一步中，是否存在一个跨层稀疏子图专门负责将"用户意图 token → 工具名 token"的映射？
• 因果问题：如果我们用 activation patching 把这个子图的激活替换为另一条决策路径的激活，agent 的下一步行为是否会真的改变？

本文以这两个问题为主线，把电路发现、激活补丁、因果中介三种机制可解释性技术，统一在 Agent 决策链的语境下重新形式化。

二、形式化基础：激活字典、路径积分与因果中介

我们采用如下记号。设 LLM 是一个参数化的 Transformer $f_\theta$，输入为 token 序列 $\mathbf{x} = (x_1, \ldots, x_n)$，输出为对每个位置 $i$ 的残差流（residual stream）激活 $\mathbf{h}_i^{(\ell)} \in \mathbb{R}^d$，以及最终的 logits $\mathbf{z}_i = W_U \mathbf{h}_i^{(L)}$。在位置 $i$ 上，每个注意力头 $h$ 在第 $\ell$ 层对 $\mathbf{h}_i$ 的贡献写作 $\mathbf{a}_i^{(\ell, h)}$，每个 MLP 在该层的贡献写作 $\mathbf{m}_i^{(\ell)}$。残差流上的写入满足分解式

$\mathbf{h}_i^{(\ell+1)} = \mathbf{h}_i^{(\ell)} + \sum_{h} \mathbf{a}_i^{(\ell, h)} + \mathbf{m}_i^{(\ell)}.$

激活字典（activation dictionary） 是一个预训练的超完备基 $\mathcal{D} = \{\mathbf{d}_1, \ldots, \mathbf{d}_K\}$，其中 $K \gg d$，使得任何残差流激活都可以稀疏编码为 $\mathbf{h} \approx \sum_k \alpha_k \mathbf{d}_k$，稀疏性由 $\ell_1$ 或非负约束保证。稀疏编码向量 $\boldsymbol{\alpha} = (\alpha_1, \ldots, \alpha_K)$ 被称为激活在该字典下的表示，是后续电路发现的核心信号。

路径积分（path integral） 关注一个标量输出 $O$（例如 logits 中工具名 token 的对数概率）相对于某个上游组件 $c$（例如第 12 层第 7 个注意力头）的偏导。沿一条从 $c$ 到 $O$ 的路径 $\pi$，其贡献定义为

$\text{Contrib}(c \to O \mid \pi) = \nabla_{\mathbf{a}^{(c)}} O \cdot \mathbf{a}^{(c)}_{\pi},$

其中 $\mathbf{a}^{(c)}_{\pi}$ 是组件 $c$ 沿路径 $\pi$ 写出的那一部分激活。在 Agent 多步链路中，路径积分可以沿"决策 token 位置 $i$ → 注意力头 $h$ → MLP $\to$ 残差流 → 最终 logits"逐层累积。

因果中介分析（causal mediation） 把上面的路径积分转化为可干预的实验：在保持其他组件不变的情况下，将 $c$ 的激活替换为来自反事实输入 $\mathbf{x}'$ 的激活 $f_{\theta, c \leftarrow \mathbf{x}'}(\mathbf{x})$，观察 $O$ 的变化

$\text{TE}(c) = O(f_\theta(\mathbf{x})) - O(f_{\theta, c \leftarrow \mathbf{x}'}(\mathbf{x})),$

这个量称为总效应（total effect）。直接效应（direct effect）则是在保持下游组件不变的情况下替换 $c$：

$\text{DE}(c) = O(f_\theta(\mathbf{x})) - O(f_{\theta, c \leftarrow \mathbf{x}',\, \text{downstream frozen}}(\mathbf{x})).$

TE 与 DE 之差就是间接效应（IE），度量了 $c$ 通过下游路径对 $O$ 的中介影响。这三个量构成 Agent 决策链电路发现的形式化基础——尤其在工具调用 ReAct 链路中，IE 经常大于 DE，意味着"调用哪个工具"的判断并非由某一层单一决定，而是多层电路级联的结果。

三、决策链上的注意力电路与功能子图

把上述形式化迁移到 Agent 的多步决策链路上，第一步是识别"功能子图"。一个功能子图是满足以下三个条件的子集 $C \subseteq \{(\ell, h)\}$：

1. 稀疏性：$|C| \ll N_{\text{heads}}$，典型大小在 5–50 个注意力头之间；
2. 任务相关性：当输入是某个特定行为类别（如"工具选择"、"参数填充"、"拒绝执行"）的提示时，子图内组件的激活显著高于基线；
3. 因果必要性：若对子图内任一组件 $c \in C$ 做激活擦除（activation ablation），下游任务性能下降超过阈值 $\tau$。

识别功能子图的算法有三类主流方法。第一类是激活补丁搜索：在干净的"工具调用"提示上收集激活，然后在"非工具调用"提示上覆盖同一位置的激活，观察输出是否翻转。翻转概率高的组件被加入候选子图。第二类是路径补丁（path patching）：只替换一个组件 $c$ 对其直接下游的贡献，而不替换整个残差流激活。这种方法能更精细地分离"中间层特征"和"最终 logits 投影"两类贡献，在 Agent 决策链中尤其有用，因为 ReAct 的每一步都会重新构造 prompt，路径补丁可以告诉我们"上一轮的工具名 token 是经过哪条路径影响这一轮的 reasoning 标记"的。第三类是字典学习 + 稀疏自编码器（SAE）：先在大量 agent 轨迹上训练一个 SAE 字典 $\mathcal{D}$，把残差流激活分解到稀疏特征空间，然后在特征空间内做线性回归，找出与"工具选择"行为高度相关的若干特征 $(d_{k_1}, \ldots, d_{k_m})$，再回溯到产生这些特征的注意力头集合。

这三类方法在 Agent 场景下并不互斥。我们的实证经验是：先用 SAE 在特征空间内圈定"候选功能子图"的雏形（粗筛），再用路径补丁在子图内做因果精炼（细筛），最后用激活擦除做必要性验证（兜底）。三步联合的召回率显著优于任何单一方法。

四、行为干预作为电路切片的可逆探针

识别出功能子图 $C$ 之后，下一步是回答"如果我们想强制 agent 在第 $i$ 步调某个工具、或者禁止它调某个工具，应该干预子图中的哪些组件"。这就是行为干预（behavioral intervention）的目标。我们把行为干预形式化为一个约束优化问题：找到一个干预向量 $\delta \in \mathbb{R}^{|C|}$，使得在 $C$ 上施加 $\delta$ 后，模型在第 $i$ 步的工具选择分布 $p_i(\cdot)$ 满足目标分布 $q_i(\cdot)$，

$\min_{\delta} \; D_{\mathrm{KL}}\big(q_i \,\|\, p_i(\cdot \mid \mathbf{h}^{(C)} + \delta)\big) \quad \text{s.t.} \quad \|\delta\|_2 \le \epsilon,$

其中 $\mathbf{h}^{(C)}$ 是子图 $C$ 在残差流上的联合激活，$\epsilon$ 是干预幅度上限。该约束避免了"过强干预导致模型崩溃"。在实际工程中，$\delta$ 通常不是直接优化得到，而是通过一个轻量级的"探针网络"学习——探针网络以 $\mathbf{h}^{(C)}$ 为输入，输出推荐的 $\delta$，再用受限的梯度下降微调到满足约束。

行为干预的关键属性是可逆性。如果干预 $\delta$ 真的只通过子图 $C$ 起作用，那么把 $\delta$ 撤掉、并且把子图 $C$ 冻结回原始激活，模型的输出应该与原始输出在 KL 散度上极小。这个可逆性检验是验证"我们的干预确实命中了正确的子图"的最强证据。如果撤掉干预后模型输出回不到原始状态，说明干预溢出了 $C$ 的范围，击中了非目标组件。这种"溢出干预"在 Agent 场景中尤其常见——ReAct 的多步链路会让早期步骤的干预信号在后期步骤被放大，导致"看似成功的干预其实改了 7 个组件而不是 2 个"。可逆性检验是 Agent 决策可解释性栈的兜底防线。

五、多步推理链路的电路级联与失败定位

把上面两节的技术推广到 Agent 的多步推理链路，会遇到一个核心困难：电路级联（circuit cascade）。agent 在第 $i$ 步的工具选择并不是由第 $i$ 步的电路独立决定，而是被第 $1, \ldots, i-1$ 步的电路联合决定。早期的电路故障（例如"在第 2 步误选了 search 而不是 read"）会在后期步骤中沿残差流放大，形成级联失败。

我们把级联失败定位为四步流程。第一步是轨迹采样：在 N 条 agent 轨迹上收集所有位置的残差流激活 $\mathbf{h}_i^{(\ell)}$。第二步是异常激活检测：用稀疏自编码器把每条轨迹的激活编码为 $\boldsymbol{\alpha}_i$，然后对每条轨迹、每个位置计算与"成功轨迹分布"的 KL 散度，定位到异常点 $(i^*, \ell^*)$。第三步是因果追溯：从异常点 $(i^*, \ell^*)$ 出发，沿"贡献梯度"反向上溯，找出让该位置激活异常的前序组件 $(i' < i^*, \ell')$，递归追溯直到定位到最早的源头。第四步是反事实干预：在最早源头处施加一个小幅度干预 $\delta$，观察后续步骤的异常是否被抑制。如果被抑制，则定位成功；如果未被抑制，则说明级联路径中存在"中间缓冲"（例如 agent 的内部 scratchpad），需要重新设计异常检测算法。

四步流程的一个关键经验：级联失败的源头通常不在工具调用本身，而在 reasoning 阶段。这与人类调试 LLM 应用的直觉一致——"工具调错了"通常是更深层 reasoning 偏差的表象，而不是真正的根因。把电路发现从"工具选择层"下沉到"reasoning 层"，是 Agent 决策可解释性栈必须迈过的一步。在工程上，这意味着异常激活检测不能只看工具调用 token 位置的激活，还要看该位置之前的 reasoning token 序列的激活分布。一个常见可观测模式是：reasoning token 序列中存在"激活方差异常高"的窗口，这个窗口往往是 reasoning 偏差的早期信号；该信号在下游的工具调用位置被放大，最终表现为"调错了工具"。如果只检测下游不检测上游，就会出现"看似定位到了工具层根因，但干预后仍然失败"的伪定位现象。这一现象在内部复现中出现过 3 次以上，每次都消耗一个工程师-天的调试时间——把异常检测同时覆盖 reasoning 序列与工具调用位置，可一次性消除这类伪定位。

六、统一视角：从 circuit discovery 到 agent 可信审计

把上面三节的技术合并起来，我们得到一个统一的 Agent 可信审计框架，由四层组成。最底层是激活字典层，负责把残差流激活分解到稀疏、可解释的特征空间；其上是功能子图层，负责在特征空间内圈定与每个 agent 行为类别（工具选择、参数填充、拒绝执行、错误归因）对应的稀疏子图；再之上是因果中介层，负责通过路径补丁和反事实干预量化每个子图组件的贡献；最顶层是行为干预层，负责把因果中介结果转化为可执行、可逆、可审计的干预策略。

四层之间通过两个接口衔接：自下而上是"特征 → 子图 → 因果路径 → 干预策略"的信息流；自上而下是"干预策略 → 因果路径 → 子图激活 → 字典基更新"的反馈流。后者尤其重要——当一个干预策略在生产环境失效时，反馈流会把"失败模式"反向投影到字典层，触发字典基的增量更新。这种"反馈驱动字典演化"的机制，让整个框架可以在 agent 的真实使用数据上持续校准，而不是一次性训练后固定。

这一框架在形式上与 Pearl 的因果阶梯（causal ladder）有对应：激活字典对应"关联"层（看到激活的统计共现）、功能子图对应"干预"层（通过擦除/补丁看因果关系）、行为干预对应"反事实"层（在保持其他条件不变的情况下想象另一个世界）。Agent 决策可解释性栈的成熟度，可以用它在因果阶梯上能爬到哪一层来衡量。

七、对工程实践的推论

把上述框架落到工程实践，可归纳为五条可执行项：

1. 生产环境默认开启轨迹级激活采样：在 agent 的每一步推理中，采样残差流激活并存储到向量数据库（典型存储量：每条轨迹 50–200 MB）。这是后续所有电路分析的数据基础，缺失这一步等于"无地基盖楼"。

2. 在每条轨迹上做异常激活检测：用预训练的 SAE 字典对激活编码，计算与成功分布的 KL 散度，对超过阈值的位置打标。可视化为"激活热力图"附在每条轨迹上。

3. 把电路发现做成版本化的工件：每个版本的 agent（基座模型 / SFT 数据 / RLHF 数据 / 工具 schema 任一变化）都应该重新跑一次全量电路发现，输出"功能子图 → 行为类别"映射表，并 diff 与上一版本的差异。这等同于 agent 的"电路级 changelog"。

4. 行为干预必须走可逆性验证：任何在生产环境部署的干预策略，都必须先在离线测试集上跑可逆性检验（撤掉干预后 KL < 0.05）。不通过则不允许上线。

5. 失败案例必须反哺字典：当线上出现一次 agent 失败，先用电路级联定位定位源头，再把这个案例的激活加入字典训练集，触发字典基的增量更新（推荐每周一次）。这是"反馈驱动字典演化"的工程化落地。这五条不是独立 checklist，而是一条数据 → 字典 → 子图 → 干预 → 反馈的工程流水线。前两条是数据基础（没有激活采样一切都免谈），第三条是子图基础，第四条是干预的安全护栏，第五条是把整套流水线闭环成"自演化系统"。一个组织如果只做前三条不做第四条，会在生产环境遭遇干预溢出引发的连锁故障；只做前四条不做第五条，会让字典逐渐偏离真实使用分布，最终所有电路分析的有效性下降。五条同时落地，才是完整的工程实践闭环。

八、讨论：与 chain-of-thought probing、activation patching 的边界

本文框架与既有方法的关系需要厘清。Chain-of-thought probing 通过在隐藏层激活上训练线性探针预测"agent 是否在思考 X"，本质是激活字典方法的弱化版——它假设存在单一方向对应 X，而忽略了稀疏、多头、跨层的真实电路结构。我们框架把探针替换为 SAE 字典，可以处理 X 由多个稀疏特征联合编码的情形。Activation patching 是本文框架的核心组件之一，但我们把它从"整图替换"推广到"路径补丁 + 反事实干预 + 可逆性检验"三件套，覆盖了 patching 单独无法处理的级联失败与溢出干预场景。

边界上仍有三个开放问题。一、字典的可解释性瓶颈：SAE 学到的稀疏特征是否对人类有语义意义，目前缺乏标准化评估协议。二、跨模型迁移：在一个模型上学到的功能子图，能否通过结构对应（structural alignment）迁移到另一个模型？初步证据显示部分子图（如"工具名选择"电路）可以迁移，但缺乏理论保证。三、运行时开销：四层框架的运行时采样与字典编码会给每次推理增加 15–30% 的延迟，对延迟敏感的 agent 任务（如高频交易 agent）难以承受。

九、给研究者的三件待做工作

把可信审计框架从研究原型推进到大规模工业部署，离不开三个相互耦合的工程基础。第一是字典的版本化治理——SAE 字典不是一次性资产，它必须随着基座模型的微调、工具 schema 的演化、agent 使用分布的偏移而持续再训练。建议把字典本身纳入模型版本控制：每次基座模型升级（基座 → SFT → RLHF 任一阶段）都触发一次字典再训练，并把新字典的"功能子图 → 行为类别"映射表与上一版本做 diff，作为 changelog 的一部分。字典漂移（dictionary drift）是这一治理框架下需要重点监控的失效模式：如果新字典学到的稀疏特征与旧字典的特征语义不再对应，所有下游电路分析都会失效。第二是干预的最小披露原则——任何在生产环境部署的行为干预，必须在审计日志中记录干预对象（哪个子图）、干预幅度（δ 的 L2 范数）、可逆性验证结果（撤掉干预后的 KL 散度）、以及干预前后 agent 输出的 diff。这四元组构成"最小披露单元"，是未来监管机构审查 agent 决策时的取证基础。第三是反事实推理的离线沙箱——行为干预在生产环境部署前，必须先在离线沙箱里跑 N 条历史轨迹的反事实推理（即"如果当时施加了这个干预，agent 会怎么走"），对比反事实轨迹与真实轨迹的差异度。差异度过大说明干预"超出预期范围"，必须回退到设计阶段重做。这是把"实验室电路发现"与"生产环境干预"安全衔接的最后一道防线。

具体到待开展的工作。

第一件是标准化电路发现基准。目前电路发现在 IOI 等合成任务上成熟，但缺乏针对 Agent 多步决策的标准化基准。建议社区联合构建一个 1000–5000 条轨迹的 benchmark，每条轨迹标注"哪一步失败 + 失败模式类别 + 真实根因位置"，供各方法的统一比较。

第二件是因果中介的形式化扩展。当前的 TE/DE/IE 三件套在单步决策上成熟，但跨步级联场景下的因果中介分解尚未有公认定义。建议从结构因果模型（SCM）出发，把"跨步残差流"建模为时间序列 SCM，给出级联失败的形式化因果分解。

第三件是电路级 agent 安全审计。随着 agent 在金融、医疗、政务等高风险场景的部署，监管机构迟早会要求"agent 决策的可审计性"。电路级审计相比轨迹级审计，能给出"决策失败时具体是哪几个组件出了问题"的细粒度证据，是未来可信 agent 的关键基础设施。建议研究者与监管机构协作，制定电路级审计的最小披露规范。

参考文献

1. Anthropic. Mapping the Mind of a Large Language Model: Circuits within IOI. 2024.
2. Olsson et al. In-context Learning and Induction Heads. Anthropic, 2022.
3. Conmy et al. Towards Automated Circuit Discovery for Mechanistic Interpretability. NeurIPS 2023.
4. Goldowsky-Dill et al. Localizing Model Behavior with Path Patching. 2023.
5. Wang et al. Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 Small. 2022.
6. Bricken et al. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Anthropic, 2023.
7. Cunningham et al. Sparse Autoencoders Find Highly Interpretable Features in Language Models. 2023.
8. Pearl. The Book of Why: The New Science of Cause and Effect. 2018.
9. Vig et al. Investigating Gender Bias in Language Models Using Causal Mediation Analysis. ACL 2020.
10. Geiger et al. Causal Abstraction: A Novel Foundation for Mechanistic Interpretability. 2024.
11. Chan et al. Data Leakage and Deceptive Prompting in LLM Agent Tool Selection. 2024.
12. Wei et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.
13. Yao et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023.
14. Anthropic. The Capability-Risk Framework for AI Safety. 2024.