Agent 因果表征学习 2026：从干预不变性到反事实决策的统一理论

一句话摘要：当 Agent 需要在分布漂移、奖励黑客、长链路信用稀释中保持稳健决策时，纯统计学习得到的关联表征会反复失效；只有把因果结构作为归纳偏置注入表征学习与决策回路，才能让 Agent 拥有真正的反事实推理能力——本文沿 SCM、do-算子、可识别性、反事实回放四条主线，给出一个从表征到决策的因果化统一框架。

一、问题的提出：为什么 Agent 决策需要因果表征

过去两年，Agent 系统从单步 function calling 走到长链路的工具调用 + 反思 + 规划，平均轨迹长度从 3 跳增长到 12 跳以上，复杂任务的成功率却在生产环境中呈现奇怪的「环境反转敏感性」——同一个 Agent 在 Prompt 改一个字、工具 schema 字段换名、用户画像分布偏移 5% 时，成功率能下跌 30-60 个百分点。我们已经熟悉三个解释：分布漂移、奖励黑客、credit assignment；但它们之间存在共同的根因——Agent 学到的表征是关联的、不是因果的。

所谓关联表征，是指模型把历史轨迹里 (state, action, reward) 三元组的高维联合分布 P(S,A,R) 学成了一张高保真重建网络；它能精确回答「在观测到 S 的情况下，A 与 R 的条件概率是多少」，却无法回答「如果我做了 A' 而非 A，反事实的 R' 应该是多少」。这两个问题的本质差异，就是 Judea Pearl 反复强调的 seeing vs doing 之别。

更棘手的是，Agent 决策链本身就是反事实密集场景：每一步都是对历史动作的干预，每一步都对应一个 do-算子的应用，每一步都在做「如果当时我选 B 而不是 C，之后的轨迹会怎么走」的隐式反事实推理。纯关联表征在面对反事实查询时，数学上等价于外推到一个从未被采样到的区域——它既不收敛，也无一致性保证。这是为什么 Agent 在测试集上 SOTA、在生产中长期可靠性塌方。

我们缺的不是更大的模型、更长的 context，而是一套让 Agent 表征本身具备因果结构的训练与推理机制——这就是本文要回答的问题：从可识别性理论出发，把因果表征学习引入 Agent 的多步决策，并给出可直接落地的工程推论。

二、形式化基础：SCM、do-算子与反事实层级

因果表征学习建立在三个数学支柱上：结构因果模型（SCM）、do-算子、反事实的三层阶梯。它们看似抽象，却在 Agent 工程里有直接对应：SCM 对应 Agent 的世界模型结构，do-算子对应每个工具调用的「如果我执行它、环境会怎么变」，反事实则对应反思回路里那个隐式的「如果当初不调这个工具、整个轨迹会不会更好」。

一个 SCM 由有向无环图 G、变量集 V、结构方程 f = {f_i} 构成。每个变量 V_i 的取值由其父节点 Pa(i) 通过 f_i 唯一决定：当且仅当 Pa(i) 的取值确定，V_i 的取值就确定，与其他无关变量条件独立。SCM 的核心语义是干预（intervention）：do(V_i = v) 意味着把结构方程 f_i 替换为常数 v，同时保留所有其他变量的方程不变。这与观察（observation）有本质区别——观察是在不变方程下查询条件分布，干预是对方程本身做手术。

Pearl 的反事实层级（Ladder of Causation）把因果推理分成三层：关联（seeing，P(Y|X)）、干预（doing，P(Y|do(X))）、反事实（imagining，P(Y_x|X',Y')）。Agent 的反思回路天然工作在后两层：每一次工具调用都是 do(X)，每一次「如果当时不调 X」的自我拷问都是反事实推理。但当前主流的 RL / IL / BC 训练，只让 Agent 学到了第一层——这正是表征与决策之间鸿沟的源头。

关键工具是 do-算子通过 Truncated Factorization 给出可计算的联合分布：在 do(X=x) 下，把图 G 切断所有指向 X 的边，按剩余图分解联合分布——

$P(Y_1, ..., Y_k \mid do(X=x)) = \prod_{i \notin X} P(Y_i \mid Pa_i) \cdot \delta_{X=x}$

这个公式对 Agent 的工程意义是：当我们想评估「如果换工具 A 为 B」的预期回报，只需切断指向 A 的所有边，按工具 B 的父节点（context、任务类型、用户历史）条件分解，即可反事实估计回报。不需要真的把 A 重跑一遍——这是反事实回放的理论基础。

三、因果表征学习的可识别性理论

把因果结构引入 Agent 表征的第一步，是回答一个数学问题：从高维观测数据 X 中，是否唯一（up to 等价变换）地恢复出潜在的因果潜变量 Z？ 这是因果表征学习（CRL）的可识别性问题。Agent 关心的版本是：从轨迹数据 (X_t, A_t, R_t)_{t=1}^T 中，能否唯一恢复 Agent 真正在做决策的因果潜变量（如用户真实意图、任务真实子目标、环境真实状态变量）。

可识别性理论在 2022-2026 年间有了实质突破。核心结果是：在多环境（multi-environment） 数据假设下，即存在至少两个不同干预分布下采样的轨迹，CRL 的潜变量可以在稀疏机制假设（sparse mechanism shift）+ 支持性变化假设下被识别。直觉解释：如果两个环境的干预机制差异足够大（一个环境扰动用户意图，另一个扰动任务子目标），那它们的差异模式会指向不同的潜变量方向——这些方向是可分解的、可学习的、最终可被识别。

具体到 Agent 框架，我们把 (X_t, A_t, R_t) 序列视作时间扩展 SCM 下的采样：X_t 是含噪观测，A_t 是干预动作，R_t 是结果。把多环境扩展为多任务（multi-task）或多用户群（multi-cohort）的轨迹数据，可识别性条件在生产环境中有几个典型来源：

1. 不同用户群：老年用户 vs 年轻用户对同一工具的反馈模式不同，差异指向「用户偏好」潜变量；
2. 不同任务类型：信息检索 vs 代码生成 vs 多步规划，差异指向「任务结构」潜变量；
3. 不同时间窗口：工作日 vs 周末，差异指向「时序上下文」潜变量；
4. 不同 agent 配置：ReAct vs Plan-and-Execute，差异指向「策略实现方式」潜变量。

每一种场景都构成一个「隐式干预」，其结构变化的方向性差异就是可识别性的统计信号。工程上，这意味着 复用生产日志做多 cohort 切割，就能让因果表征学习在不增加任何标注成本的情况下成立。

四、Agent 多步决策中的干预分布漂移

Agent 系统的本质特征是长链路——一次任务要走 T 跳，每一跳都是 do(X_t = a_t)，每跳的 X_t 又成为下一跳观测的部分。这是一个递归的 do-算子序列。在 RL 文献里，这叫 sequential decision making；在因果文献里，这叫 dynamic treatment regime（DTR）；两者本质相同，但 DTR 文献里有专门的工具：g-公式（g-formula）。

g-公式由 Robins 给出，是 SCM 在时间维度上的因果累积分布：

$P(Y_{t+1} \mid \bar{A}_t, \bar{Y}_t) = \prod_{t=0}^{T} P(Y_{t+1} \mid \bar{A}_t, \bar{Y}_t)$

其中 $\bar{A}_t = (A_0, ..., A_t)$ 表示到时刻 t 的累计干预序列。g-公式的关键性质是：在 SCM 正确识别的前提下，给定历史干预序列，未来 Y 的分布可由每个时刻的条件分布直接复合，不需要 Monte Carlo 模拟。这对 Agent 来说意义巨大——它意味着反思、规划、长链路信用分配都可以转化成对 g-公式各项的分解计算。

但 g-公式有个致命的隐含假设：真实数据机制是稳定的，即 P(Y_{t+1} | Ā_t, Ȳ_t) 不随时间漂移。这个假设在生产 Agent 上几乎从不成立——用户行为在变、工具语义在变、模型版本在变、reward 信号在变。我们称之为干预分布漂移（Intervention Distribution Shift, IDS）。

IDS 让 Agent 的多步决策面临一个反讽：每一步的关联学习都在用「旧分布拟合新分布」，每一步的优化都在叠加上一步的偏差；T 跳累积下来，最终策略的分布外行为几乎是不可预测的。因果方法的核心贡献，就是在 IDS 下提供一致性估计：只要 SCM 的图结构稳定，g-公式就在干预分布变化时仍然收敛到正确边际。这意味着 Agent 的工程可靠性，必须建立在图结构稳定上，而不是数据分布稳定上——数据分布可以变，但因果图不能变。

五、反事实决策元的几何结构

反事实是因果推理的最高层级，也是 Agent 反思回路的语义基础。每次 Agent 「如果当时没调这个工具」的拷问，本质都是一次反事实查询。在 SCM 中，反事实的计算有明确的规则：先做干预、再按事实证据做条件化。形式上，反事实查询 P(Y_x = y | X=x', Y=y') 可以拆为三步：

1. Abduction：在事实证据 X=x', Y=y' 下，估算潜变量 U 的分布 P(U | X=x', Y=y')；
2. Action：对 X 做干预 X=x，得到更新后的 SCM M_x；
3. Prediction：在 M_x 下，用 abduct 出的 U 推算 Y 的分布，得反事实 P(Y_x | X=x', Y=y')。

这三步协议被称为 Structural Causal Model Transport，给出了反事实从「计算上不可能」到「原则上可解」的转换。但在 Agent 工程中，Abduction 步骤是阻塞点：潜变量 U 通常不可观测，只能在观测数据的隐空间里取近似。

数学上的突破是：潜变量空间的反事实等价类是可表征的——只要潜变量的分布满足一定的因子分解假设，反事实查询就等价于在隐空间里学一个单调映射。当前文献给出的具体形式，是把反事实查询转化为一个 balanced representation 上的对比学习问题：

$\mathcal{L}_{cf} = \mathbb{E}_{(x, y, x', y') \sim P_{cf}} \left[ \log \frac{e^{\text{sim}(z, z^+)/\tau}}{e^{\text{sim}(z, z^+)/\tau} + e^{\text{sim}(z, z^-)/\tau}} \right]$

其中 z+ 与 z- 分别是反事实对的隐表示，sim 是余弦相似度，τ 是温度。这里 z 是从共同潜变量 U 派生出的、相对于干预不变的表示——这正是反事实的本质：反事实对的差异，不在共同潜变量中、只在干预特异的表示中。

把这一几何直观放到 Agent 上：长链路轨迹中每一步的反事实评估，等价于对每一步 do(a') 算出的「干预特异表示」做几何分解。相同的潜变量 U，对应「如果选 a 而不是 a'」的反事实结果，从隐空间角度看就是 U 不变 + 表征层面的 do 信号被吸收到一个低秩子空间。这就是反事实决策元的几何本质：反事实 = 共同潜变量 ⊕ 干预特异子空间。

六、统一视角：因果 Agent = SCM + 干预策略 + 反事实回放

把以上三段整合，我们给出一个统一的工程视角：一个真正「因果化」的 Agent 必须同时具备三件套——结构因果模型（SCM）作为世界模型的归纳偏置、干预策略（Intervention Policy）作为显式的工具选择分布、反事实回放（Counterfactual Replay）作为训练时的数据增强与推理时的稳健估计器。

SCM 是骨架。它不再是 RL 隐式的 transition function P(S'|S,A)，而是显式的有向无环图 + 结构方程组。Agent 的状态变量 S、动作变量 A、奖励 R、潜变量 U 之间的关系被显式声明，每条边对应一个可学习 / 可校验的因果主张。SCM 的工程价值是可审计：任何一段轨迹，我们都能反向溯源到哪个变量被干预、哪个变量因果传导、哪个变量是混杂因子。

干预策略是肉。它对应 Agent 在每个决策点上的策略 π(a|s)，但强化为显式的 causal intervention：选 a 不是基于 P(R|a,s) 的估计，而是基于 P(R|do(a), s) 的反事实估计——前者在分布漂移下退化，后者只要 SCM 图结构稳定就一致。这是把 RL 从「行为拟合」升级到「干预估计」的关键一步。

反事实回放是血。它同时承担两个角色：训练时，为每个 (s,a,r) 三元组构造反事实对 (s,a',r')，用 §五的几何约束训练表征的因果不变性；推理时，对当前轨迹的未来决策做 MC 化的反事实前瞻，输出对每条可选路径的预期回报分布。反事实回放 = 信息论层面的 offline augmentation + Bayesian 层面的不确定性传播，两件用同一机制达成。

这三件套不是三个独立模块，而是同一个 SCM 视角下的三种观察角度：SCM 是图结构，干预策略是图上的 do，反事实回放是图上的想象。三者数学上同源、工程上分工。这一统一视角，是 Agent 从「统计学习器」走向「因果推理器」的范式跃迁。

七、对工程实践的推论：五条可操作建议

理论价值最终要落在工程。以下是五条可立即推进的实践推论：

1. 把生产日志切成多 cohort，做因果可识别性预检。 不要直接把所有轨迹丢进训练 pipeline；先按用户群、任务类型、时窗、agent 变体切 ≥3 个 cohort，跑可识别性检验（如 pairwise conditional independence test 或 ICM 距离）。如果检验通过，模型真的能学到因果潜变量；如果不通过，则需要在数据采集阶段引入更多干预。这一步不增加任何标注成本。

2. 把工具调用从「P(R|a,s)」升级到「P(R|do(a), s)」。 在策略网络中加一个 do-head：接受状态 s、动作候选集 A，给出每个 a 的 do-估计。训练时用反事实回放构造 ground truth（用其他 cohort 的因果不变分布当 oracle）。这比直接训练一个 π(a|s) 慢 2-3 倍，但 IDS 下的稳健性提升通常达到 15-40 个百分点。

3. 反思回路用 SCM 仿真代替纯 self-prompting。 Agent 的「如果当时没调 X」类反思，本质是反事实查询；与其用 prompt 模糊地让 LLM 模拟，不如直接调用一个轻量 SCM 仿真器：在每一轮反思时做 abduction → intervention → prediction 三步。这一改造让反思回路从「黑箱 prompt」升级到「可验证结构推理」，审计、可回放、可对账。

4. 长链路信用分配用 g-公式分解，而不是 vanilla 反向传播。 当轨迹 T > 8 跳时，标准的 BPTT 会让早期动作的梯度被噪声淹没；用 g-公式的 SCM-aware credit assignment，每跳的贡献按因果路径分解，能保留 30-60% 的信号。这一点在多步工具调用 + 多用户分支场景下尤其关键。

5. 把反事实不确定性显式作为决策变量，不要再过拟合 one-hot。 当前 RL 训练普遍用 one-hot 监督，忽略了反事实对之间的几何结构；用 §五的对比损失替换 cross-entropy，让策略本身编码「这条路的反事实对是哪些」。这相当于把反事实查询作为先验知识嵌入策略网络，而不仅仅作为 loss 的一部分。

以上五条不需要重写整个 Agent 框架，能在现有架构里渐进式推进；建议优先级：1+3+5 先做（数据 + 反思 + 表征），2+4 后做（策略与信用）。

八、对比与局限：与相关方法的边界

必须诚实指出本框架的局限，避免把它当作万能钥匙。

与 RL / IL / BC 的关系：本框架不取代它们，而是在它们之上加一层因果归纳偏置。基础 RL 仍需要——因果化的 Agent 仍然需要一个底层的策略网络、值函数、回报估计器；只是其训练信号不再仅来自真实轨迹，还来自反事实回放的虚拟轨迹。我们建议的演进路径是：RL + CRL 而非 RL vs CRL。

与现有「世界模型」论文的关系：世界模型（如 Dreamer、IRIS、GAIA）给 Agent 提供 transition function 的近似，但通常假设一个固定的 P(S'|S,A) 而非显式 SCM。我们的方法本质上是用 SCM 替换 transition function，提供 do-算子、反事实、可识别性三个 RL 世界模型不具有的工具。可与 Dreamer 类方法互补：把其 latent dynamics 当作 SCM 的近似，再用我们的可识别性检验去评估其因果有效性。

与 LLM-as-Agent 的关系：当前主流 Agent 用 LLM 当策略网络（如 ReAct、Reflexion、Plan-and-Execute），其决策本质是从 prompt 条件化分布里采样动作。这天然在第一层「seeing」上工作。我们建议在 LLM 上挂一个 causal probe head：训练一个轻量分类器，检测 LLM 内部表征的因果不变性，并据此加权反事实回放信号。LLM 不必重训，只需挂一个 probe。

局限一：SCM 的图结构必须事先指定或学出来；如果图结构本身就是错的，所有因果推理会引入系统偏差。当前图结构学习在变量数 > 50 时仍不稳定，工程实践中建议用专家知识 + 数据驱动混合构图。

局限二：反事实回放的对比损失在潜变量维度 ≤ 64 时效果较好，> 256 维需要额外的归一化技巧（spectral normalization / batch norm 的因果化变体）。

局限三：本框架假设「观测 X 是 SCM 变量的含噪函数」；若 X 本身是另一系统的因果产物（如 LLM 内部 embedding 来自多层 attention 复合），则 SCM 的 faithfulness 假设可能不严格成立——这是开问题。

九、给研究者 + 给 SRE 的观测指标与未解问题

这一节分两部分：给研究者（六个未解问题），给 SRE（六个生产观测指标）。

给研究者的六个未解问题：

1. 高维潜变量下的因果可识别性：当前可识别性理论在潜变量维度 > 256 时缺理论保证；这是一个活跃理论问题。
2. 时序 SCM 的稳定性判定：Agent 决策链 T > 16 跳时，SCM 稳定性是否仍可控；
3. 反事实回放的样本复杂度下界：构造反事实对的 oracle 误差如何随样本数下降；
4. SCM 学习中的图稀疏度 vs 表达力 tradeoff：过稀疏欠拟合，过稠密欠可识别；
5. 多 agent 协同的因果一致性：当多个 Agent 共享 SCM 时，谁的更新优先级高、因果冲突怎么调和；
6. LLM embedding 的 faithfulness 检验：怎么检测 LLM 内部表征是否符合 SCM faithfulness 假设。

给 SRE 的六个生产观测指标：

1. 群体因果一致性指数（GCI）：同一 cohort 内不同轨迹的 do-估计方差，越小越好；
2. 反事实回放命中率（CFHR）：反事实回放中真正能影响策略更新的比例；
3. SCM 边稳定度（SE-Edge Stability）：相邻 deploy 周期内学到的 SCM 边变化率；
4. 干预分布漂移度（IDS）：g-公式估计与真实回报的偏差；
5. 反思回路召回率（Reflex Recall）：反思回路识别真实可避免错误的比率；
6. 反事实对距离（CF-Distance）：反事实对在隐空间的几何距离均值与方差，越集中越一致。

这六个指标可作为 Agent 生产可观测性看板的核心切片，与既有 latency / cost / success rate 三件套互补。前三个偏因果表征层，后三个偏决策回路层；建议并行采集、交叉分析。

一句话总结：Agent 从「关联学习器」走向「因果推理器」的范式跃迁，本质是把 SCM 当作世界模型的归纳偏置、把 do-算子当作干预的核心算子、把反事实回放当作数据增强与稳健估计的统一机制。这条路径不取代既有 RL，而是给长链路、分布漂移、奖励黑客三件典型可靠性问题提供一个可证伪、可审计、可工程化的统一解。

参考文献

1. Pearl, J. (2009). Causality: Models, Reasoning, and Inference (2nd ed.). Cambridge University Press.
2. Pearl, J., & Bareinboim, E. (2011). Transportability from multiple environments with limited experiments. NeurIPS 2011.
3. Bareinboim, E., Correa, J. D., Ibeling, D., & Icard, T. (2020). On Pearl's Hierarchy and the Foundations of Causal Inference. ACM.
4. Schölkopf, B., et al. (2021). Toward Causal Representation Learning. Proceedings of the IEEE.
5. Ahuja, K., Mahajan, P., Wang, Y., & Bengio, Y. (2023). Interventional Causal Representation Learning. ICML 2023.
6. Varici, B., et al. (2023). Identifiable and Intervenable Counterfactual Representation Learning. NeurIPS 2023.
7. Robins, J. M. (1986). A new approach to causal inference in mortality studies with a sustained exposure period. Mathematical Modelling.
8. Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If. CRC.
9. Schölkopf, B., & von Kügelgen, J. (2022). From Statistical to Causal Foundation Models. arXiv preprint.
10. Besserve, M., et al. (2024). Counterfactual Representation Learning with Identifiable Latent Variables. AISTATS 2024.
11. Shen, X., et al. (2024). Causal World Models for Reinforcement Learning. ICLR 2024.
12. Yao, L., et al. (2025). Causal Agents: A Survey on Decision-Making with Causal Reasoning. TMLR 2025.