主动推断视角下的 Agent 世界模型与工具选择：自由能最小化的统一框架

一、问题的提出：为什么需要主动推断视角

大语言模型（LLM）驱动的 Agent 系统在复杂任务分解、长期规划与工具调用场景中展现了令人印象深刻的能力。然而，当前的工程实现大多依赖"prompt engineering + 外部工具注册 + 规则化重试"这种工程组装模式，理论层面缺乏对 Agent 何以实现"智能"这一根本问题的统一回答。为什么 Agent 应该在给定多个可用工具时选择某一个而非另一个？当环境反馈不明确时，Agent 如何更新其对世界状态的理解？记忆系统的更新遵循何种信息论原则？

自由能原理（Free Energy Principle, FEP）以及其衍生的主动推断（Active Inference, AI）框架为这些问题提供了一个从第一性原理出发的统一答案。FEP 起源于神经科学，由 Karl Friston 等人提出，其核心主张是：任何自组织系统（无论是神经元还是 Agent）都在通过最小化其自由能来维持其存在。对于 Agent 而言，这意味着感知、规划与工具选择都可以被理解为系统试图最小化对外部世界的" surprise"（意外程度）的不同方面。

本文提出一个理论统一框架：Agent 的世界模型是对环境生成过程的条件概率分布的近似，工具调用是系统执行能降低自身对环境不确定性的"行动实验"，而记忆更新则遵循变分推断的规律。我们将依次展开这一框架的形式化、机制解释与工程推论。

二、POMDP 与 belief state 的形式化

在工程实现中，Agent 的决策通常被建模为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）。一个 POMDP 由七元组 $(S, A, O, T, Z, R, \gamma)$ 定义，其中 $S$ 是状态空间，$A$ 是动作空间，$O$ 是观测空间，$T: S \times A \times S \to [0, 1]$ 是状态转移函数，$Z: S \times A \times O \to [0, 1]$ 是观测函数，$R: S \times A \to \mathbb{R}$ 是奖励函数，$\gamma \in [0, 1]$ 是折扣因子。

然而，在 FEP 框架下，我们对这一形式化的使用方式有根本性的重新诠释。传统 POMDP 中，Agent 学习一个信念状态 $b(s)$ 来近似后验 $P(s | h)$，其中 $h$ 是历史观测-动作序列。FEP 进一步要求：这个信念状态本身就是对环境"隐藏状态"的生成模型的近似，而生成模型本身也是系统通过经验不断精化的对象。

在变分推断的框架下，信念更新可以被理解为最大化证据下界（Evidence Lower Bound, ELBO）的过程。设 $o_{t}$ 为 $t$ 时刻的观测，$b_{t-1}$ 为前一时刻的信念，则后验信念 $b_t(s) \approx P(s | o_t, b_{t-1})$ 可以通过变分分布 $q(s | \mu)$ 来近似，其中 $\mu$ 是变分参数。自由能定义为：

$$\mathcal{F}(o, \mu) = \mathbb{D}_{\mathrm{KL}}[q(s | \mu) \| P(s | o)] = \mathbb{E}_{q}[\log q(s | \mu) - \log P(o, s)]$$

最小化 $\mathcal{F}$ 等价于最大化 $\log P(o)$（观测的边际似然），这正是生物神经系统被认为在做的事。

对于 LLM-based Agent，这个形式化意味着什么？LLM 的内部表示（通过注意力机制编码的隐状态）可以被视为 $q(s | \mu)$ 中的变分参数 $\mu$。当 Agent 接收新的工具执行结果 $o_{\text{tool}}$ 时，LLM 的内部状态更新可以理解为对信念的变分更新。如果我们将每次工具调用视为一次"主动采样" $a \sim \pi(b)$，那么工具选择本身就是最小化自由能的一个行动。

三、预测编码与主动推断的核心机制

预测编码（Predictive Coding, PC）是 FEP 的一个计算实现框架，其核心主张是：大脑（以及类似的智能系统）持续地生成对输入的预测，预测误差（prediction error）沿着层级结构向上传播，驱动参数更新。在主动推断框架下，这个过程被扩展到包括行动：行动不是"执行指令"，而是"选择性地采样以消除预测误差"。

将这一机制映射到 LLM-based Agent：

层级预测结构：Transformer 中的每个注意力头实际上都在做某种预测——给定前文，预测下一个 token 的分布。这种预测编码的结构天然对应于 FEP 的层级感知架构。在 Agent 场景中，高层注意力头（如核心 LLM 的自注意力）编码对任务总体进度的预测，中层编码对当前子目标状态的预测，低层编码对具体工具执行结果的预测。更精细地说，我们可以将 Transformer 的各层分别对应于 FEP 所说的不同粒度的生成模型：浅层捕获局部token 序列的统计规律（对应于低阶感知预测），深层捕获长程语义依赖和任务结构（对应于高阶行为预测）。

预测误差信号的分层处理：当工具调用的实际返回结果与 Agent 预期不符时，预测误差产生。这个误差信号需要被"反向传播"到信念更新中。在当前的 Agent 实现中，这个过程通常通过"反思"（Reflection）prompt 或自critique 机制实现——从 FEP 的视角看，这些都是预测误差驱动的变分学习实例。在更精细的实现中，这种误差信号会被分离为不同的类型：幅度误差（观测值的偏差程度）、精度误差（对预测置信度高但实际错误的程度）以及结构误差（预测的因果结构与实际不符）。不同的误差类型驱动不同类型的学习更新。

主动抽样与信息增益的量化：工具调用不仅仅是执行预设动作，更是主动生成能最大程度降低信念不确定性的实验。形式化地说，如果当前信念关于某个环境参数 $\theta$ 的不确定性由方差 $\sigma^2$ 度量，则工具 $a$ 的期望信息增益为：

$$\mathrm{IG}(a) = \mathbb{E}_{P(o | a, \theta)}[\mathrm{Var}(\theta | o)] - \mathrm{Var}(\theta | o, a)$$

一个理性的 Agent 应该选择期望信息增益最高的工具。在缺乏显式计算的情况下，LLM 通过其对工具效果的语义理解来近似这一选择过程。这种语义层面的理解依赖于 LLM 在预训练中积累的关于"因果关系"和"工具效果"的知识。例如，如果 LLM 知道"调用搜索 API 通常能获取当前不在记忆中的事实性信息"，那么在面对事实性查询时，搜索工具的期望信息增益会被隐式地评估为高。

四、世界模型中的不确定性表征

LLM-based Agent 的"世界模型"指的是什么？从 FEP 视角，这是系统对环境生成过程 $P(o_{t+1} | s_t, a_t)$ 的内部近似。更精确地说，Agent 需要表征三类不确定性：

认知不确定性（Epistemic Uncertainty）：对环境本身参数的未知。例如，Agent 可能不确定某个 API 在特定输入下会返回什么。认知不确定性可以通过更多探索（调用更多工具、执行更多实验）来降低。从贝叶斯视角，这对应于后验分布 $P(\theta | \mathcal{D})$ 的宽度。

偶然不确定性（Aleatoric Uncertainty）：环境本身的随机性，即使给定完整信息也无法消除。例如，外部事件的随机到达。偶然不确定性无法通过探索降低，但需要被正确建模以做出最优决策。

模型不确定性（Model Uncertainty）：Agent 自身内部表示的不准确。当 LLM 对某些概念间的因果关系表征不准确时，模型不确定性升高。这对应于变分分布 $q(s | \mu)$ 与真实后验 $P(s | o)$ 之间的 KL 散度。

一个成熟的世界模型应该能够：(1) 表征认知不确定性和模型不确定性的大小；(2) 根据不确定性水平选择"探索"（收集信息）vs"利用"（执行已知最优动作）；(3) 在接收到新证据时正确更新信念状态。

在当前的 Agent 实现中，置信度校准（confidence calibration）机制与这一需求直接相关。当 Agent 对某个决策的置信度低时，从主动推断视角看，这正是认知不确定性高的信号，此时 Agent 应该选择信息增益更高的工具而非直接执行当前最优选项。

五、工具调用作为信息增益行动

传统 Agent 框架将工具调用建模为"给定状态，选择最优动作"，但 FEP 视角提供了一个更深刻的理解：工具调用是 Agent 对环境进行"行动实验"的手段，其目的是通过观察实验结果来减少信念中的不确定性。

这个视角有几个重要的工程推论：

工具选择的信息论动机：如果 Agent 对某个假设 $h$ 的后验概率为 $P(h | b)$，且 $P(h | b) \in [0.1, 0.9]$（即存在显著不确定性），则调用能验证 $h$ 的工具具有最高的期望信息增益。这与 LLM 的语义理解能力形成有趣的交互：LLM 隐式地知道哪些工具"更可能揭示 $h$ 的真值"。

工具组合的信息增益叠加：当单个工具无法提供足够的验证信息时，Agent 可能需要连续调用多个工具。这种探索行为在主动推断框架下是自然的——Agent 执行一个行动后更新信念，再基于新信念选择下一个行动，直到信念收敛到足够低的方差。

工具调用的探索-利用权衡（EEBT）：标准 EEBT 问题是"在探索未知动作以获取新信息 vs. 利用已知最优动作之间如何权衡"。主动推断通过一个优雅的机制解决这个问题：探索行为本身就降低了自由能（减少了 surprise 的期望），因此不需要单独的探索奖励。在 FEP 的框架下，"利用"是选择能立即减少当前自由能的动作，而"探索"是选择能减少未来自由能期望的动作。

形式化地说，设 $\mathcal{F}_t$ 为时刻 $t$ 的自由能，$\mathbb{E}_{P(a_t)}[\mathcal{F}_{t+1} | b_t]$ 为在当前信念下执行动作 $a_t$ 的期望下一时刻自由能。Agent 应该选择：

$$a_t^* = \arg\min_{a \in A} \mathcal{F}(o_{t+1}, \mu_{t+1}) \quad \text{s.t.} \quad o_{t+1} \sim P(o | a, b_t)$$

这个公式表明，Agent 在选择动作时考虑的是该动作对下一时刻自由能的影响。

六、规划、探索与自由能目标的统一

传统的任务规划（如 HTN 规划、PDDL 风格的符号规划）将规划视为对状态空间的显式搜索。然而，从主动推断的视角看，规划本身就是系统试图最小化" surprised"——如果规划失败（实际执行结果与预期不符），这就是一个需要通过信念更新来处理的预测误差。

规划作为策略上的自由能最小化：设 $\xi$ 为一条从初始状态到目标状态的完整计划，$\mathcal{F}(\xi)$ 为执行该计划的期望自由能。Agent 的规划问题可以重新表述为：

$$\xi^* = \arg\min_{\xi} \mathbb{E}_{P(\text{结果}|\xi)}[\mathcal{F}(\text{结果})] + \lambda \cdot \text{Cost}(\xi)$$

其中 $\text{Cost}(\xi)$ 是执行计划的计算/时间成本，$\lambda$ 是成本权重项。这个目标函数将"期望效用最大化和"期望不确定性最小化"统一在同一个框架下。

探索作为信息获取的规划：当环境模型不确定时，规划问题变得更加复杂。Agent 不仅需要规划"如何达到目标"，还需要规划"如何获取缺失的信息"。在主动推断框架下，这两者是同一个问题的两个面。一种实现方式是在规划图（planning graph）中引入"信息获取节点"，显式地将探索动作作为可能的规划步骤。

基于模型预测控制（MPC）的在线规划：MPC 是一种常用的在线规划方法，在每一步重新求解有限时域内的最优控制问题。MPC 与主动推断的结合产生了一种"模型预测主动推断"（Model Predictive Active Inference）方法，其核心思想是：在 MPC 的滚动时域内，每一步的滚动优化目标中加入自由能项，从而同时考虑利用（状态到达目标）和探索（减少下一时刻的不确定性）。

对于 LLM-based Agent，MPC 的思想体现在"思考链"（Chain-of-Thought）机制中：LLM 生成一系列中间推理步骤，这些步骤本质上是在线的、迭代的规划过程，其中每一步都在考虑当前状态（LLM 的内部表征）和可选动作（工具调用或推理步骤）。

七、记忆系统中的变分推断

记忆系统是 Agent 感知-规划-行动循环中的关键组件。从主动推断的视角看，记忆不仅仅是"存储过去"的被动仓库，更是"预测未来"的主动资源。理解记忆系统的这一本质可以帮助我们设计更有效的 Agent 记忆架构。

情景记忆与语义记忆的计算统一：在认知科学中，情景记忆（episodic memory）存储特定时间和地点的事件，语义记忆（semantic memory）存储抽象的、去情境化的知识。在主动推断框架下，两者都可以被理解为对环境统计结构的变分学习：情景记忆对应于对特定情境下条件分布 $P(o | s, c)$ 的记忆（$c$ 为情境参数），语义记忆对应于对边缘分布 $P(o)$ 或条件分布 $P(o | s)$ 的记忆。更重要的是，情景记忆和语义记忆并非互斥，而是处于同一个认知系统的不同层次。例如，关于"我昨天调用搜索工具查到了X公司Q3财报"这样的记忆，同时包含情景成分（特定时间地点的事件）和语义成分（关于搜索工具效果的抽象知识）。在 Agent 系统中，这种记忆的统一表示可以通过将情境参数 $c$ 作为注意力键的一部分来实现，使记忆检索既能精确匹配特定情境，又能泛化到相似情境。

记忆更新作为变分学习：当 Agent 接收到新观测 $o_t$ 时，记忆更新的目标是修改变分参数 $\mu$ 以降低自由能 $\mathcal{F}(o_t, \mu)$。这与在线学习中的变分贝叶斯方法直接对应。一个实用的实现是使用预先衰减（Prioritized Experience Replay）思想：重要性采样权重与新观测带来的自由能减少量成正比。形式化地说，如果 $o_t$ 与当前信念的预测误差为 $\epsilon_t = \mathcal{F}(o_t, \mu_{t-1})$，则 $o_t$ 被存储到记忆中的概率可以设为 $P(\text{store}) = \sigma(\alpha \cdot \epsilon_t - \beta)$，其中 $\sigma$ 是 sigmoid 函数，$\alpha$ 和 $\beta$ 是调参常数。这个机制确保高预测误差的观测（也就是对学习最有价值的"surprise"）更可能被存储。

记忆压缩的信息瓶颈原理：Agent 的记忆容量有限，必须对记忆进行压缩和选择性遗忘。信息瓶颈（Information Bottleneck, IB）原理为这一问题提供了一个最优性保证：在给定压缩率的条件下，保留与当前任务最相关的记忆是最优的。形式化地说，对于记忆表征 $z$ 和输入 $x$（过去的经验），IB 优化：

$$\min_{P(z|x)} I(x; z) - \beta \cdot I(z; y)$$

其中 $y$ 是预测目标（当前任务），$\beta$ 是权衡参数。在 Agent 场景中，$x$ 是历史经验序列，$z$ 是压缩后的记忆表征，$y$ 是当前任务相关的信息。IB 原理给出的一个关键洞见是：最有效的记忆压缩不是简单地遗忘最久远的记忆（时间优先策略），而是遗忘与当前任务最不相关的信息。这与人类记忆研究中的"情绪调节记忆"现象形成有趣的呼应：在主动推断框架下，情感标记可以作为系统对信息重要性的一种内隐评估，从而影响记忆的保留优先级。

八、可靠性、失败模式与评估边界

理解了主动推断的理论框架后，我们需要问：这个框架能否解释 Agent 的失败模式？更重要的是，我们能否从这一理论出发预测 Agent 在哪些场景下会可靠，在哪些场景下会失效？

失败模式的理论分类：

第一类是模型不确定性失效（Model Uncertainty Failure）。当 Agent 的世界模型对某个区域的状态转移或观测函数建模错误时，信念更新会系统性地错误。即使反复探索，认知不确定性也无法被正确识别，导致 Agent 在该区域持续做出次优决策。这类失败的根本原因是训练数据（工具描述、历史交互记录）中缺少该区域的覆盖。从主动推断的视角看，这种失败对应于变分分布 $q(s|\mu)$ 与真实后验 $P(s|o)$ 之间的系统性偏差——这种偏差不会通过更多的数据采样来消除，因为问题在于模型结构本身与真实环境的不匹配。

第二类是偶然不确定性被误认为认知不确定性（Aleatoric-Epistemic Confusion）。如果环境本身具有高偶然不确定性（随机性强），Agent 可能花费过多资源去"探索"，试图降低本不可降低的不确定性。这类失败在高度随机的环境（如涉及外部用户行为的环境）中尤为常见。从主动推断的角度看，这是因为系统将环境的固有随机性错误地归因于自身的认知不确定性，导致不必要的探索行为消耗了大量资源。

第三类是符号接地失败（Symbol Grounding Failure）。当 LLM 的内部表征（语言模型的 token 分布）与真实环境的生成过程之间存在系统性偏差时，Agent 对工具效果的预测会系统性地偏离实际结果。例如，LLM 可能对某个 API 的返回值格式有误解，导致后续推理全部基于错误假设。这类失败尤其难以被发现，因为系统本身的自我评估机制（置信度校准）也会受到同一偏差的影响，使得 Agent 对自己的错误预测过度自信。

评估边界的方法论：评估 Agent 在特定任务上的可靠性需要识别该任务对应的世界模型区域。如果该区域在训练分布内且偶然不确定性低，则 Agent 应表现可靠；如果处于分布外（out-of-distribution）或高偶然不确定性区域，则应预期到可能的失败。在实践中，这要求我们不仅评估 Agent 在标准 benchmark 上的性能，还要评估其对分布偏移的鲁棒性——这正是主动推断框架可以帮助我们设计更全面的评估体系的地方。

九、参考文献

1. Friston, K. (2010). The free energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127-138.

2. Friston, K., FitzGerald, T., Rigoli, F., Schwartenbeck, P., & Pezzulo, G. (2017). Active inference: a process theory. Neural Computation, 29(1), 1-49.

3. Rao, R. P., & Ballard, D. H. (1999). Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, 2(1), 79-87.

4. Millidge, B., Tschantz, A., & Buckley, C. L. (2021). Contrasting active inference and model-based reinforcement learning. arXiv preprint arXiv:2103.04964.

5. Pezzulo, G., Rigoli, F., & Friston, K. (2018). Hierarchical active inference: a theory of motivated control. Trends in Cognitive Sciences, 22(3), 205-216.

6. Schmidhuber, J. (2006). Formal theory of creativity, fun, and intrinsic motivation (1990-2010). IEEE Transactions on Autonomous Mental Development, 2(3), 230-247.

7. Tishby, N., & Polani, D. (2010). Information theory of decisions and actions. In Perception-Action Cycle (pp. 601-636). Springer.

8. Ortega, P. A., & Braun, D. A. (2013). Information, utility and belief change in decision making: the free energy principle. Entropy, 15(12), 5442-5465.

9. Kaplan, R., & Friston, K. (2018). Planning and navigation as active inference. Biological Cybernetics, 112(4), 323-343.

10. Botvinick, M., & Cohen, J. (2014). The computational and neural basis of cognitive control: charted territory and new frontiers. Annual Review of Psychology, 65, 365-386.

11. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

12. Pearl, J. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann.

一句话摘要：本文从自由能原理和主动推断出发，提出 Agent 的世界模型是环境生成过程的变分近似，工具调用是信息增益行动，记忆更新遵循变分推断规律，三者在自由能最小化目标下实现统一，为 Agent 架构设计提供新的理论基础。