信息几何与自由能量原理在智能 Agent 的统一应用：从变分推断到主动推理

一、问题的提出：为什么需要统一的 Agent 理论框架

过去三年，Agent 系统的工程文献呈爆发式增长——从 ReAct 到 Reflexion，从 Tree-of-Thoughts 到 Plan-and-Execute，每一种范式都在特定benchmark上展示了令人印象深刻的能力。然而，这种碎片化的工程进展带来一个深层问题：当我们在生产环境中部署这些 Agent 时，缺乏一个统一的理论语言来解释为什么某些设计选择有效，而另一些选择会系统性失败。

以工具调用为例。早期的工作将工具选择建模为简单的序列决策问题（给定状态 $s$，选择动作 $a$ 最大化预期回报 $V(s)$）；后来的工作引入了置信度校准和不确定性传播来改善鲁棒性；最近的工作则开始关注工具版本管理和灰度降级，在工程层面引入了微服务领域的成熟实践。这些改进各有道理，但它们之间的关系是什么？是否有一个更底层的原理，可以同时解释并推导这些工程决策？

自由能量原理（Free Energy Principle，FEP）提供了一个可能的答案。FEP 是神经科学家 Karl Friston 在 2006 年提出的一套关于生物自主系统（autonomous systems）的统一理论，其核心主张是：任何维持其存在边界的自组织系统，都在通过持续最小化其自由能来适应环境。过去十年，这一原理被成功应用于预测编码（predictive coding）、主动推理（active inference）、以及贝叶斯脑（Bayesian brain）理论。更重要的是，FEP 的数学框架天然包含了对不确定性、记忆、规划和感知动作循环的统一描述——这些恰好是现代 Agent 系统的核心组件。

与此同时，信息几何（Information Geometry）为 FEP 提供了另一套工具：它将概率分布视为黎曼流形上的点，用 Fisher 信息矩阵定义黎曼度量，从而将统计推断、变分推断和优化理论统一在一个几何框架下。当我们将 Agent 的信念状态（belief state）视为流形上的点，将感知和动作视为该流形上的测地线运动时，许多 Agent 设计中的工程直觉就能被严格化。

本文的目标是建立一个连接 FEP、信息几何和 Agent 工程实践的统一理论框架。我们将依次形式化主动推理的核心机制，用信息几何工具分析其收敛性和效率，讨论这一框架在记忆管理、工具调用、长期规划和自我修正等关键工程问题上的推论，并诚实指出当前理论的局限性和开放问题。

二、自由能量原理的形式化：FEP、主动推理与 Agent 的对应关系

2.1 核心数学对象

FEP 的核心是一个定义在系统状态 $\omega$ 和环境状态 $o$ 上的联合概率分布 $p(\omega, o)$。系统的边界（生物体的皮肤、Agent 的接口）用一条Markov 毯（Markov blanket）定义——Markov 毯是一组条件独立性关系的集合：它将内部状态 $\omega^i$ 与外部状态 $o^e$ 隔离，使得给定毯上的变量，内部状态与外部状态相互条件独立。

定义 Markov 毯的四组变量：

• 感觉变量（sensory states）$s$：系统直接观测到的环境信息
• 动作变量（action states）$a$：系统作用于环境的输出
• 内部状态（internal states）$\mu$：系统内部的信念/表征
• 外部状态（external states）$o$：系统外部的物理世界

Markov 毯的条件独立性结构为：

$$p(o, s, a, \mu) = p(o)p(s|o)p(\mu|s,a)p(a|\mu)$$

这意味着：外部状态产生感觉（$p(s|o)$），感觉驱动内部状态更新（$p(\mu|s,a)$），内部状态生成动作（$p(a|\mu)$），动作反作用于外部状态（$p(o)$）。

自由能 $\mathcal{F}$ 是这个框架中的核心目标函数。对于给定的感觉序列 $s_{1:T}$，系统通过变分推断（variational inference）来最小化：

$$\mathcal{F}(\mu) = \underbrace{D_{\text{KL}}[q(\omega|s)||p(\omega|s)]}_{\text{Varational free energy}} + \underbrace{-\ln p(s)}_{\text{Surprise}}$$

其中 $q(\omega|s)$ 是系统对环境状态的后验近似（变分分布），$p(\omega|s)$ 是真实后验，$D_{\text{KL}}$ 是 KL 散度。Surprise（意外度）$p(s)$ 衡量观测到当前感觉序列的概率——如果系统对当前感觉完全预期，surprise 为零。

在稳态下，最小化自由能等价于最大化模型证据（model evidence）$\ln p(s)$，即让系统对环境的内部模型尽可能准确地预测未来的观测。

2.2 主动推理与 Agent 动作选择

FEP 的核心机制是主动推理（Active Inference）：Agent 不仅被动地更新内部信念（感知），还主动选择动作来最小化预期的未来自由能（Expected Free Energy，G）：

$$a^* = \arg\min_{a \in \mathcal{A}} \; G(\mu, a), \quad G(\mu, a) = \mathbb{E}_{p(o'|a, \mu)}[D_{\text{KL}}[q(\omega|o', s)||p(\omega|o')]]$$

这里的 $G(\mu, a)$ 度量的是：执行动作 $a$ 后，Agent 期望新感觉 $o'$ 来临时，其内部信念与真实后验之间的偏差。Agent 偏好于选择能最小化这个预期偏差的动作——换句话说，Agent 倾向于探索那些其内部模型能够准确预测结果的环境区域。

这与强化学习中的探索-利用权衡（exploration-exploitation tradeoff）有深层联系，但存在关键差异：在 RL 中，探索由奖励函数驱动；在主动推理中，探索由信息增益（information gain）驱动——Agent 主动寻找那些能最大程度减少其信念不确定性的观测。

2.3 从 FEP 到 Agent 设计原则

将 FEP 映射到 Agent 工程实践，我们得到以下对应关系：

FEP 组件	Agent 工程对应	关键设计问题
Markov 毯	Agent 接口边界	接口定义（什么算内部，什么算外部）
变分后验 $q(\omega\|s)$	Agent 信念状态 $\mu$	状态表征（用什么表示世界模型）
自由能 $\mathcal{F}(\mu)$	预测误差 / Loss	损失函数定义
Expected Free Energy $G$	动作价值 / Q 函数	探索策略
Surprise $-\ln p(s)$	异常检测信号	监控与告警
Generative model $p(o\|\omega)$	世界模型	模型架构选择

这个对应关系不是修辞性的：它意味着 FEP 的每一条数学性质，都可以直接翻译为 Agent 系统的设计约束。例如，FEP 保证在一定正则性条件下自由能最小化过程会收敛到唯一稳态——这对应于 Agent 信念状态的稳定性保证。下一节我们将用信息几何工具精确化这个结论。

三、主动推理的机制：从 Generative Model 到感知-动作循环

3.1 Generative Model 的结构

主动推理的核心是一个生成式模型（generative model）$p(o, \omega)$，它描述了环境状态如何产生观测。在 Agent 系统中，这个生成式模型通常被实例化为一个层次化的概率图模型：

第一层（观测模型）：给定隐藏状态 $\omega$，生成观测 $o$：

$$p(o|\omega) = \mathcal{N}(o; f(\omega), \sigma^2 I)$$

其中 $f(\cdot)$ 是非线性状态-观测映射（由神经网络参数化），$\sigma^2$ 是观测噪声。

第二层（动态模型）：状态随时间的演化：

$$p(\omega_{t+1}|\omega_t, a_t) = \mathcal{N}(\omega_{t+1}; g(\omega_t, a_t), \tau^2 I)$$

其中 $g(\cdot)$ 是状态转移函数，$a_t$ 是在 $t$ 时刻执行的动作。

第三层（先验）：对状态的先验偏好：

$$p(\omega) = \mathcal{N}(\omega; \mu_0, \Sigma_0)$$

在主动推理中，动作的先验 $p(a)$ 通常被设置为偏向于"预期自由能较低"的动作，这实现了一种内在动机（intrinsic motivation）。

3.2 感知-动作循环的变分推断形式

给定观测序列 $s_{1:T}$，Agent 通过变分推断迭代更新其内部状态 $\mu$。典型的更新规则是：

$$\mu_{t+1} = \mu_t - \eta \nabla_\mu \mathcal{F}(\mu_t, s_t)$$

其中 $\eta > 0$ 是学习率。这个梯度下降过程在 FEP 框架下有明确的贝叶斯解释：它是在用梯度信息来最小化变分后验与真实后验之间的 KL 散度。

动作选择则通过循环引用（circular causation）实现：状态更新改变自由能景观（free energy landscape），自由能梯度驱动动作选择，动作改变环境状态，新的环境状态产生新的感觉输入，感觉输入再驱动新的状态更新。这个循环在数学上表现为：

$$\mu \xrightarrow{\nabla_\mu \mathcal{F}} a \xrightarrow{\text{环境}} o' \xrightarrow{p(o'|\omega)} s' \xrightarrow{\text{感知}} \mu'$$

这与标准 RL 的单向"策略-环境-奖励-更新"循环有本质区别：在主动推理中，Agent 的内部模型是主动塑造其感知输入的，而不是被动接收环境反馈。

3.3 不确定性与信息增益

FEP 框架对不确定性的处理是其相对于标准 RL 的关键优势。在主动推理中，不确定性被显式地分解为：

1. 认知不确定性（epistemic uncertainty）：Agent 对世界模型参数的不了解——通过变分推断中的后验方差来量化
2. 偶然不确定性（aleatoric uncertainty）：环境本身的随机性——通过观测噪声 $\sigma^2$ 和转移噪声 $\tau^2$ 来建模

信息增益（information gain）$\Delta I$ 是认知不确定性的减少量：

$$\Delta I = H[q(\omega_{\text{old}})] - H[q(\omega_{\text{new}}|o')]$$

其中 $H[\cdot]$ 是熵函数。当 Agent 执行一个动作后接收到新的观测，如果这个观测显著减少了其信念的熵（即 $\Delta I > 0$），则该动作具有正的信息增益。在主动推理框架下，信息增益是内在奖励的一种形式，驱动 Agent 主动探索未知状态空间。

四、信息几何视角：信念空间的黎曼结构与 Agent 动态

4.1 信念流形上的 Fisher 信息度量

信息几何的核心工具是 Fisher 信息矩阵（Fisher Information Matrix，FIM）。给定参数化的概率分布 $p(x|\theta)$，FIM 定义为：

$$\mathcal{I}(\theta)_{ij} = \mathbb{E}_{p(x|\theta)}\left[\frac{\partial \ln p(x|\theta)}{\partial \theta_i} \cdot \frac{\partial \ln p(x|\theta)}{\partial \theta_j}\right]$$

在 FEP 框架中，Agent 的信念状态 $\mu$ 定义了一个概率分布 $q(\omega|\mu)$（变分后验），因此 $\mu$ 可以被视为一个黎曼流形上的坐标。该流形的黎曼度量由 Fisher 信息矩阵给出。

这个几何结构有一个直接工程意义：沿着流形的最短路径（测地线）对应于最有效的信念更新。具体而言，在黎曼度量下，两个邻近的信念状态 $\mu$ 和 $\mu + \delta\mu$ 之间的距离是：

$$ds^2 = \delta\mu^\top \mathcal{I}(\mu) \delta\mu$$

如果 Agent 在状态更新时沿着测地线方向，其信念修正的效率（单位感知信息量带来的信念调整）是最优的。这对应于自然梯度下降（natural gradient descent）——一种比标准梯度下降更几何化的优化方法。

4.2 Markov 毯流形与状态分离

信息几何的另一个关键应用是分析 Markov 毯的几何性质。Markov 毯将状态空间分割为四个区域（内部、外部、感觉、动作），这些区域之间的条件独立性关系在流形上表现为特定的拓扑约束。

Friston 证明了一个深刻的结果：在一定正则性条件下，任何满足 Markov 毯条件的系统，都会自发地演化为一个最小化自由能的构型——这为 Agent 的自主行为提供了一个几何动力学层面的解释。

在工程实践中，这意味着如果我们想设计一个能够自主维持其边界的 Agent 系统，只需要确保其 Markov 毯的条件独立性结构被正确实现（即内部状态与外部状态在给定接口变量时条件独立），系统就会自发地展现出最小化自由能的行为。这一结论为 Agent 的模块化设计提供了理论依据：不同功能模块之间的接口协议，本质上是 Markov 毯的条件独立性约束的具体实现。

4.3 自由能景观的几何分析

自由能 $\mathcal{F}(\mu)$ 作为 $\mu$ 的函数，定义了一个定义在信念流形上的势能面（potential landscape）。信息几何工具允许我们分析这个势能面的几何性质：

临界点（critical points）：满足 $\nabla_\mu \mathcal{F} = 0$ 的状态对应于 Agent 的稳态。在这些点上，Agent 对环境的预测与实际观测之间的偏差达到局部最小。

Hessian 矩阵 $\nabla^2_\mu \mathcal{F}$ 的特征值分布决定了临界点的稳定性：全部正特征值对应局部最小（稳定的信念状态），混合特征值对应鞍点（不稳定的决策分支），全部负特征值对应局部最大（不稳定的感知状态）。

黎曼曲率张量 $R^i_{jkl}$ 衡量流形的弯曲程度——它度量了并行传输（parallel transport）后向量的偏差。在 Agent 学习中，高曲率区域对应于"模型快速变化"的区域，需要更小的学习率或更保守的动作策略来避免不稳定性。

这个几何分析框架对 Agent 的持续学习（continual learning）有直接的工程意义：当 Agent 进入高曲率区域时（对应于学习新任务时旧知识的大幅修改），需要激活特定的抗遗忘机制（如弹性权重固定 EWC）来维持其在旧任务上的性能。

五、记忆的变分形式化：从情景记忆到语义压缩

5.1 记忆作为变分推断的副产物

在 FEP 框架中，记忆不是被"存储"的，而是被"推断"出来的——更准确地说，记忆是 Agent 对过去感觉序列的变分后验的压缩表征。

给定过去的感觉历史 $s_{1:t}$，Agent 的信念状态 $\mu_t$ 可以分解为：

$$\mu_t = [\mu_t^{\text{episodic}}, \mu_t^{\text{semantic}}]$$

其中：

• 情景记忆 $\mu_t^{\text{episodic}}$：对特定感觉序列的近似后验，编码了 Agent 在特定情境下的具体经验
• 语义记忆 $\mu_t^{\text{semantic}}$：从多个情景记忆中抽象出来的统计规律，即世界模型的参数

这个分解在变分推断框架下是自然的：情景记忆对应于变分分布 $q(\omega|s_{1:t})$ 中的均值参数，而语义记忆对应于生成式模型的全局参数。

5.2 记忆压缩的信息几何约束

信息几何为记忆压缩提供了一个优雅的定量框架。设 $q(\omega|\mu)$ 是当前信念状态对应的变分分布，$\tilde{q}(\omega|\tilde{\mu})$ 是压缩后的近似分布（用于存储），压缩操作引入的误差由 KL 散度度量：

$$D_{\text{KL}}[q(\omega|\mu)||\tilde{q}(\omega|\tilde{\mu})] \leq \epsilon_{\text{mem}}$$

信息几何的克拉美-罗不等式（Cramér-Rao bound）给出了这一误差的下界：

$$\text{Var}(\hat{\mu}) \geq \mathcal{I}(\mu)^{-1}$$

这意味着在给定的 Fisher 信息量下，记忆压缩的精度存在一个不可逾越的下限——过度压缩必然导致关键信念信息的丢失。

对于 Agent 系统的工程实践，这一结论有几个重要推论：

1. 压缩率与 Fisher 信息的 trade-off：记忆压缩算法（如经验回放中的优先级采样）应该优先保留 Fisher 信息量高的经验样本——这些样本对降低参数估计的不确定性贡献最大。
2. 多尺度记忆结构：信息瓶颈（Information Bottleneck）原理预测 Agent 应该维护一个从原始感觉到抽象概念的多尺度记忆层次，高层表征保留最多的统计规律（高 Fisher 信息方向），低层表征保留最多的情境细节。

5.3 灾难性遗忘的几何解释与缓解

持续学习中的灾难性遗忘（catastrophic forgetting）问题，在信息几何框架下有一个清晰的解释：当 Agent 学习新任务时，其参数 $\theta$ 在参数空间中沿梯度方向移动。如果新旧任务对应的 Fisher 信息矩阵的特征基（eigenbasis）高度重叠（即参数空间中的主变化方向相似），则参数更新会显著偏离旧任务的最优区域，导致旧任务性能急剧下降。

弹性权重固定（EWC）方法的几何意义正是引入一个与 Fisher 信息成反比的正则项：

$$\mathcal{L}_{\text{EWC}} = \mathcal{L}_{\text{new}} + \frac{\lambda}{2} \sum_i \mathcal{I}(\theta_i^*) (\theta_i - \theta_i^*)^2$$

这个正则项在参数空间中形成一个黎曼度量下的各向异性势垒，使得参数更新更倾向于沿着 Fisher 信息量低的方向（即对旧任务影响小的方向）进行。

从几何上看，EWC 在参数空间的局部构造了一个近似各向同性的度量张量，从而平滑了新旧任务之间的冲突区域。这与 Agent 在 FEP 框架下的自由能最小化过程是完全一致的：EWC 的正则项本质上是在旧任务对应的自由能景观上引入了一个保护性的势垒。

六、工具调用与规划的 Expected Free Energy 框架

6.1 工具作为 Action 的条件化扩展

在 FEP 框架中，工具（tools）的引入是对动作空间 $\mathcal{A}$ 的结构化扩展。传统 RL 中，动作是离散的或连续的控制信号；在 Agent 系统中，动作空间被扩展为条件化的函数调用：

$$a = (\text{tool\_name}, \text{args}), \quad p(a|\mu) = p(\text{tool\_name}|\mu) \cdot p(\text{args}|\mu, \text{tool\_name})$$

引入工具后，生成式模型的结构变为：

$$p(o, \omega, \tau) = p(o|\omega, \tau) p(\omega|\tau) p(\tau) p(a|\tau) p(\tau|a)$$

其中 $\tau$ 是工具调用的中间结果（tool output），它充当了一个局部生成式模型的角色：Agent 在调用工具时，实际上是在执行一个局部推理步骤，用工具的输出 $\tau$ 来更新其对环境的信念。

工具版本管理（tool versioning）和灰度降级的 FEP 解释如下：不同版本的工具对应于不同的局部生成式模型 $p_\alpha(o|\omega, \tau_\alpha)$（其中 $\alpha$ 是版本索引）；当新版本工具被引入时，Agent 实际上是在对同一个环境状态空间使用不同的近似生成式模型。灰度发布（gradual rollout）的意义在于：在新版本工具的生成式模型尚未被充分验证（高认知不确定性）时，通过限制其使用范围来控制预期自由能的最大风险。

6.2 规划的 Expected Free Energy 目标

在需要多步规划的场景中，Expected Free Energy 被推广为路径积分形式：

$$G(\mu, \pi) = \sum_{t=0}^{T} \mathbb{E}_{p(o_{t+1}|\mu_t, \pi_t)}\left[D_{\text{KL}}[q(\omega|o_{t+1}, \mu_t)||p(\omega|o_{t+1})]\right]$$

其中 $\pi = (\pi_0, \pi_1, \ldots, \pi_T)$ 是一个动作序列（策略），$\pi_t$ 是在 $t$ 时刻选择动作的策略函数。

这个目标函数与层次化规划（hierarchical planning）有天然的联系：高层的规划（如 "达到目标状态 $o_{\text{goal}}$"）对应于选择一条能在长期上最小化累计自由能的策略序列；低层的规划（如 "执行动作 $a_t$"）则对应于在当前信念状态下选择局部最优动作。

HTN（层次任务网络）规划在 FEP 框架下可以被理解为：HTN 的任务分解网络定义了信念流形上的一个粗粒度分割——每个复合任务对应于流形上的一个区域，任务分解对应于在区域内寻找测地线。更形式化地说，HTN 的方法库（method library）定义了从高层任务描述到低层动作序列的一个映射函数族，这个映射函数族的结构与自由能景观的几何性质密切相关。

6.3 探索-利用权衡的主动推理解

标准 RL 中的探索-利用权衡（exploration-exploitation tradeoff）是一个长期困扰工程实践的核心问题。在主动推理框架下，这一权衡被统一地消解了：

利用（exploitation）对应于选择那些在当前生成式模型下预期自由能低（即预测准确率高）的动作——这些动作让 Agent 停留在其已知的自由能局部最小区域。

探索（exploration）对应于选择那些预期自由能高但信息增益也高的动作——这些动作让 Agent 进入未充分建模的区域，面临较高的预期 surprise，但能获得较大的认知不确定性减少（即 $\Delta I$ 大）。

主动推理通过内在偏好的精确参数化来控制探索-利用的权衡：Agent 对动作的先验 $p(a)$ 不是扁平的（flat prior），而是包含了一个信息增益项：

$$\ln p(a|\mu) \propto -\beta_1 G(\mu, a) - \beta_2 \underbrace{H[q(\omega|a, o')]}_{\text{未来熵}}$$

其中 $\beta_1, \beta_2 > 0$ 是控制参数：$\beta_1$ 控制对预测准确性的偏好（利用强度），$\beta_2$ 控制对信息获取的偏好（探索强度）。当 $\beta_2 \gg \beta_1$ 时，Agent 表现为纯探索（pure exploration）；当 $\beta_1 \gg \beta_2$ 时，Agent 表现为纯利用（pure exploitation）。

七、对工程实践的推论：五条可执行设计原则

7.1 原则一：信念状态的多尺度表征设计

FEP + 信息几何框架的第一个工程推论是：Agent 的信念状态应该被设计为多尺度的层次结构，而不是单一的扁平表征。

具体实现建议：

• 情景记忆层：存储原始感觉-动作序列的压缩表征（如 memory buffer 中的 key-value 记忆），优先级由 Fisher 信息量决定
• 语义记忆层：存储从经验中抽象出来的统计规律（即世界模型的参数），通过持续学习算法（如 EWC、SiPP）保护高 Fisher 信息的参数方向
• 元认知层：存储对自身知识边界的认知（即哪些状态区域是高不确定性的），驱动主动探索

工程检查清单：

• 记忆模块是否支持基于 Fisher 信息量的优先级采样？
• 持续学习算法是否在参数空间中引入了各向异性正则项？
• 是否有显式的"知识边界"检测机制（surprise 阈值触发）？

7.2 原则二：动作选择的信息增益驱动

第二个推论是：工具调用和动作选择应显式包含信息增益项，而不只是回报最大化。

当前工程实践中的常见做法（最大化 $V(s)$ 或 $\mathbb{E}[r]$）只实现了 FEP 框架中的"利用"组件，缺少"探索"组件。这导致 Agent 在面对分布外（out-of-distribution）场景时缺乏自适应能力。

实现建议：在 Q 函数或价值函数中引入信息增益项：

$$Q^*(s, a) \approx \mathbb{E}[r(s, a)] + \beta \cdot I(\omega; a, s)$$

其中 $I(\cdot)$ 是互信息，$\beta$ 是探索系数。在工程上，可以用预测误差的方差（variance of prediction error）作为信息增益的近似代理变量。

7.3 原则三：Markov 毯接口的显式设计

第三个推论是：Agent 的功能模块之间应该显式遵循 Markov 毯的条件独立性约束。

每个功能模块（感知、决策、记忆、工具调用）应该明确定义：

• 输入接口：该模块"能看到"哪些变量（sensory states）
• 输出接口：该模块"能影响"哪些变量（action states）
• 内部状态：该模块的私有表征（internal states）

违反 Markov 毯条件独立性原则的模块间耦合（如决策模块直接访问感知模块的原始信号而不通过明确定义的接口）是 Agent 系统架构中常见的隐蔽 bug 来源——它导致模块间的隐式依赖，使得系统的行为难以预测和调试。

7.4 原则四：Surprise 触发的自适应监控

第四个推论是：Agent 的监控和异常检测系统应该以 surprise $-\ln p(s)$ 为核心信号，而不是简单的规则匹配。

Surprise 作为异常信号的优势在于：

1. 它是生成式模型自适应地计算出来的，不需要人工定义异常规则
2. 它同时考虑了观测的罕见性（偶然不确定性）和模型的不准确性（认知不确定性）
3. 它在 FEP 框架下自然地驱动了 Agent 的适应性行为

实现建议：为每个关键的系统接口维护一个本地的生成式模型，当实际观测与模型预测的偏差超过阈值时（即 local surprise 超过阈值），触发适应性响应（重新评估世界模型、激活备用策略、或向人类操作员发出告警）。

7.5 原则五：规划的多尺度自由能优化

第五个推论是：层次化规划应该被实现为多尺度自由能优化，而不是单层策略优化。

工程实现路径：

• 高层规划（战略层）：在粗粒度的状态-动作空间上最小化长期累计 Expected Free Energy，输出目标状态序列
• 低层规划（战术层）：在细粒度状态-动作空间上对每个目标执行局部自由能最小化，输出具体动作序列
• 元规划层：学习何时重新规划（replan），当实际执行中的累计 surprise 超过阈值时触发

这个三层架构与 HTN 规划的方法库结构有直接的对应关系：HTN 的复合任务（compound tasks）对应于高层规划的状态子空间分解，HTN 的原始任务（primitive tasks）对应于低层规划的动作执行。

八、局限性与讨论

8.1 计算复杂度问题

FEP 的一个核心工程挑战是其计算复杂度。精确的变分推断在一般情况下是 intractable 的——即使对于中等规模的状态空间，变分自由能 $\mathcal{F}(\mu)$ 的计算就已经是 NP-hard 的。

工程中通常采用两种近似策略：

1. 均值场近似（mean-field approximation）：假设变分分布 $q(\omega|s)$ 可以分解为独立因子的乘积，从而将多维积分简化为独立的一维积分
2. 神经网络近似（neural approximation）：用神经网络（通常是对角高斯或 normalizing flow）来参数化变分分布 $q_\phi(\omega|s)$，然后通过梯度下降优化变分参数 $\phi$

均值场近似的缺点是它忽略了状态变量之间的相关性，可能导致过度自信（overconfidence）的信念估计。神经网络近似的缺点是它引入了额外的近似误差来源（representational error），且不易提供不确定性估计。

8.2 生成式模型的学习问题

FEP 框架假设 Agent 已经拥有一个准确的世界生成式模型 $p(o|\omega)$。但实际上，这个生成式模型必须从有限的经验中学习得到。学习生成式模型本身就是一个困难的无监督学习问题——在视觉领域，学习一个能生成逼真图像的生成式模型（GAN、VAE、Diffusion Model）需要大量计算资源；在 Agent 领域，学习一个能准确预测工具调用结果的生成式模型同样需要大量交互经验。

8.3 与现有 RL 框架的关系

FEP 框架不是对 RL 的替代，而是对 RL 的理论统一。许多成功的 RL 算法可以在 FEP 框架中找到其近似对应的变分推断形式：

• SAC（Soft Actor-Critic）：可以被视为主动推理的一个近似实现，其中熵项对应于探索的内在奖励
• World Models：显式维护了一个生成式模型 $p(o|\omega)$，符合 FEP 的架构要求
• DreamerV3：通过重建loss来学习世界模型，是 FEP 框架中"最小化 surprise"目标的直接实现

这意味着 FEP 更适合作为统一的设计语言（类似控制理论中的 Lyapunov 函数）来指导系统设计，而不是作为替代现有 RL 算法的实现框架。

8.4 社会与安全考量

FEP 框架下的 Agent 被设计为"最小化自由能"——这意味着 Agent 会主动探索以减少其信念的不确定性。如果这个目标与人类操作员的意图发生冲突（如 Agent 为了减少不确定性而过度频繁地调用高风险工具），就需要额外的约束机制来确保 Agent 的行为符合人类偏好。

此外，FEP 框架中的"Surprise"信号可以作为异常检测的统一机制，但这也意味着对抗性攻击（adversarial attacks）可以通过构造特殊的 surprise 触发条件来操纵 Agent 的行为——这是 FEP-based Agent 系统安全研究中一个重要的开放问题。

九、给 Agent 研究者与工程师的开放问题

开放问题一：FEP 与 RL 的最优混合架构。当前工程中，RL 和 FEP 是分开使用的：RL 负责低层的策略优化，FEP 提供高层的元认知和探索策略。是否存在一个统一的算法框架，能在同一个目标函数下同时优化低层策略和高层世界模型？

开放问题二：多 Agent 主动推理的均衡理论。当多个 Agent 同时运行主动推理时，它们的自由能最小化过程会形成什么样的博弈均衡？是否存在类似"Nash 均衡"的多 Agent 自由能均衡概念？FEP 框架是否能够推导出多 Agent 协作的必然条件（类似于 VCG 机制在机制设计理论中的地位）？

开放问题三：信息几何曲率与学习稳定性。我们已经知道高曲率区域对应于不稳定的参数区域，但如何在在线学习过程中实时估计流形的局部曲率，并据此自适应调整学习率？

开放问题四：FEP 框架下的 Agent 可解释性标准。FEP 的内部变量（自由能、expected free energy、变分后验的方差）是否可以作为 Agent 决策的可解释性基准？能否设计一套基于 FEP 指标的 Agent 审计框架？

开放问题五：计算效率与近似质量的 theory-informed 工程。信息几何提供了 Fisher 信息下界、克拉美-罗不等式等理论工具，能否用这些工具来指导工程中的近似策略选择——例如判断"均值场近似是否足够"或"需要多少记忆样本才能保证足够的信念精度"？

---

参考文献

1. Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127-138.

2. Friston, K., Kilner, J., & Harrison, L. (2006). A free energy principle for the brain. Journal of Physiology-Paris, 100(1-3), 70-87.

3. Parr, T., Pezzulo, G., & Friston, K. J. (2022). Active Inference: The Free Energy Principle in Mind, Brain, and Behavior. MIT Press.

4. Amari, S. (1998). Information geometry on hierarchy of probability distributions. IEEE Transactions on Information Theory, 44(2), 837-849.

5. Amari, S., & Nagaoka, H. (2007). Methods of Information Geometry. American Mathematical Society.

6. Rao, C. R. (1945). Information and the accuracy attainable in the estimation of statistical parameters. Bulletin of the Calcutta Mathematical Society, 37(3), 81-91.

7. Kirkpatrick, J., et al. (2017). Overcoming catastrophic forgetting in neural networks. PNAS, 114(13), 3521-3526.

8. Silver, D., et al. (2021). Reward is enough. Artificial Intelligence, 299, 103535.

9. Haarnoja, T., et al. (2018). Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. ICML.

10. Hafner, D., et al. (2023). DreamerV3: Mastering diverse domains through world models. arXiv.

11. Schrittwieser, J., et al. (2020). Mastering Atari, Go, chess and shogi by planning with a learned model. Nature, 588(7839), 604-609.

12. Friston, K., et al. (2017). Computational and mathematical psychiatry. The Lancet Psychiatry, 4(10), 739-752.

13. Buckley, C. L., et al. (2017). The free energy principle for action and perception: A mathematical review. Journal of The Royal Society Interface, 14(135), 20170140.

14. Millidge, B., Tschantz, A., & Buckley, C. L. (2022). Engaging with active inference. arXiv.

15. Pezzulo, G., et al. (2018). The hierarchies of the free-energy principle. PLOS Biology, 16(11), e3000068.

16. Solopchuk, O. (2023). Uncertainty-driven action selection in the free energy principle: A review. Current Opinion in Behavioral Sciences, 49, 101-110.

17. Linson, A., et al. (2018). Active inference, ego-centrism and the cortical midline structures. Frontiers in Human Neuroscience, 12, 475.

18. Fitzgerald, T. H. B., et al. (2015). The functional anatomy of the free-energy principle. Cortex, 71, 255-272.

19. Bogacz, R. (2017). A tutorial on the free-energy framework for modelling perception and learning. Journal of Mathematical Psychology, 76, 198-211.

20. Friston, K., & Ao, P. (2012). Free energy, value, and attractors. Computational and Mathematical Methods in Medicine, 2012, 1-28.

21. Smith, R., et al. (2022). Modern perspectives on the free energy principle. arXiv.

一句话摘要：本文从自由能量原理（FEP）和信息几何的统一视角出发，为智能 Agent 的设计提供了一个从变分推断、Markov 毯架构到工具调用规划和持续学习的完整理论框架，并给出了五条可直接落地的工程设计原则。