Agent 世界模型的 POMDP 信念几何 2026

一、问题的提出:为什么 Agent 需要"世界模型"而不是"反应式策略"

2026 年主流的 LLM Agent 工程(ReAct、Reflexion、Plan-and-Execute)在落地时被反复问到一个问题:agent 究竟是在"推理",还是在"反复刺激-反应"?前者要求 agent 维护一个关于环境的内部模型,后者的策略只是从历史 (observation, action) 序列到下一个 action 的条件分布。本文要论证的是:把这两种视角用 POMDP(Partially Observable Markov Decision Process)的信念状态(belief state)几何统一起来,可以让 ReAct 的"思考"步骤从启发式工程升格为可证伪的理论对象——它实质上是 belief state 在隐空间的后验更新,而 world model 是这条更新链路的隐式参数化器。

二、形式化:从 MDP 到 POMDP 的四元组迁移与 belief state 的定义

经典 MDP 用五元组 $(\mathcal{S}, \mathcal{A}, P, R, \gamma)$ 描述决策过程,其中状态 $s \in \mathcal{S}$ 完全可观测。POMDP 引入第六个元素——观测函数 $O: \mathcal{S} \times \mathcal{A} \to \Delta(\mathcal{O})$——使得 agent 在时刻 $t$ 只能拿到观测 $o_t$ 而非真实状态 $s_t$。决策者因此被迫维护一个信念状态(belief state):

$b_t(s) \triangleq P(s_t = s \mid o_{1:t}, a_{1:t-1})$

$b_t$ 是定义在状态空间 $\mathcal{S}$ 上的概率分布,所有决策——值函数 $V(b)$、策略 $\pi(a \mid b)$、critic $Q(b, a)$——都必须以 $b$ 为输入而非以原始 $o$ 为输入。这个看似简单的"加一层分布"带来了三个根本性后果:决策空间从 $\mathbb{R}^{|\mathcal{S}|}$ 升到无限维函数空间 $\Delta(\mathcal{S})$;最优策略不再有有限状态表达(需要 history-dependent 或 belief-dependent 表示);任何在原始 $o$ 上做条件化的策略——例如 prompt 里直接拼接 observation——在 POMDP 框架下都是次优的,除非隐式等价于把 $b$ 编码进上下文。

三、belief state 作为后验分布 —— Bayes filter 与粒子滤波机制

信念状态的时间演化由 Bayes filter 精确刻画:

$b_{t+1}(s') \propto O(s', a_t, o_{t+1}) \sum_{s \in \mathcal{S}} P(s' \mid s, a_t) b_t(s)$

这个递归有两项关键成本:第一,状态空间 $\mathcal{S}$ 通常连续高维(例如网页状态、文档库、多轮对话历史),精确递推在计算上不可行;第二,转移核 $P$ 与观测核 $O$ 往往未知,需要从数据中学习——这正是 world model 的存在理由:用参数化函数 $\hat{P}_\theta$、$\hat{O}_\phi$ 逼近真实后验,把 Bayes filter 变成可微计算图。工程上有三条主要逼近路径:(1) 粒子滤波(particle filter)用一组带权样本 $\{ (s^{(i)}, w^{(i)}) \}_{i=1}^{N}$ 近似 $b_t$,适合离散/混合动作空间;(2) 解析高斯近似(extended/unscented Kalman filter)在 $b_t$ 为单峰高斯时高效,但对多模态信念爆炸;(3) 学习式近似——用神经网络直接预测 $b_{t+1}$ 的参数,这正是 DreamerV3、IRIS 等 latent world model 的隐式实现。

# 伪代码:ReAct agent 的 belief update 单步(LLM 后端)
def react_belief_step(b_t, history, o_t, llm):
    # 1. 把 belief b_t 编码进 prompt(近似 Fisher-Rao 坐标)
    prompt = f"[BELIEF]\n{compress(b_t)}\n[HISTORY]\n{history}\n[OBS]\n{o_t}"
    # 2. LLM 做"思考":实质上是 h_theta(z_t, a_t) 的一步预测
    thought = llm.reason(prompt)
    # 3. 更新 belief:从 thought 中抽取新状态估计
    b_new = extract_belief(thought, prior=b_t)
    # 4. 解码 action(pi_phi(a | z))
    a_t = llm.act(prompt + thought)
    return b_new, a_t, thought

四、belief state 的信息几何 —— Fisher 度量与自然梯度的对偶

把 $b$ 看作分布族 $\mathcal{P} = \{ p_\theta \mid \theta \in \Theta \}$ 的元素,信念更新可以被理解为参数空间 $\Theta$ 上的优化。Fisher 信息矩阵 $F(\theta) = \mathbb{E}_{x \sim p_\theta}[\nabla_\theta \log p_\theta(x) \nabla_\theta \log p_\theta(x)^\top]$ 自然地诱导出 $\Theta$ 上的黎曼度量,使得最速下降方向不再是普通的负梯度 $-\nabla_\theta \mathcal{L}$,而是所谓的"自然梯度" $\tilde{\nabla}_\theta \mathcal{L} = F(\theta)^{-1} \nabla_\theta \mathcal{L}$。这条变换的物理含义是:在分布意义上"等距"的参数扰动应该产生等价的策略改进,与坐标系的局部缩放无关。对 LLM agent 而言,自然梯度的几何意义有一个具体推论——同一段 prompt 改写(等价于在 $b$ 上做坐标重参数化)不应改变最优 action,但 SGD 风格的离散文本编辑却可能;这是"prompt 敏感性"的根因之一。

五、世界模型的隐空间瓶颈 —— rate-distortion 视角下的压缩

Latent world model 实质上是 $b$ 的一个低维编码器 $z_t = f_\psi(b_t)$,其容量受率失真(rate-distortion)函数 $R(D) = \min_{p(\hat{x} \mid x): \mathbb{E}[d(x, \hat{x})] \leq D} I(X; \hat{X})$ 控制。当隐维度 $|z|$ 给定时,world model 的最大可表达信息量 $I(Z; S)$ 存在上界;一旦真实环境熵 $H(S)$ 超过该上界,任何压缩都不可避免地丢失关键信息,导致 agent 在"分布外"的观测上做出次优决策。对 LLM agent 的现实意义是:context window 长度就是 $z$ 的容量上限,过长的 observation history 不一定能换来更好的 $b$——多余的 token 反而挤占了与 $R(D)$ 曲线匹配的关键信号。这一点呼应了 id=363"记忆架构信息论几何"中关于"互信息瓶颈"的论述,但视角从"记忆"扩展到"信念",约束面更广。

六、统一视角:deep POMDP 与 latent world model 的对偶谱

把 world model 视作隐空间动力学,policy 视作 $z$ 空间到动作空间的解码器,二者构成一个 deep POMDP 的"对偶对"。具体地,如果 $z_{t+1} = h_\theta(z_t, a_t)$ 是 world model 的转移函数,那么策略网络 $\pi_\phi(a \mid z)$ 与 $h_\theta$ 之间满足: $\min_\phi \mathbb{E}_{z \sim p_\theta(\cdot)} [D_{\mathrm{KL}}(\pi_\phi(\cdot \mid z) \| \pi^*(\cdot \mid z))]$ 其中 $\pi^*$ 是 POMDP 最优策略。这条优化目标的解给出了 ReAct 的形式化版本:reasoning step 等价于用 $h_\theta$ 做一步隐变量预测,action selection 等价于在 $z$ 空间做 $\pi_\phi$ 解码——而不是 prompt engineering 的离散文本拼接。Latent world model 的训练损失(world model loss + actor-critic loss)因此与 POMDP 的信念更新 + Bellman 备份在数学上同构,差别只在于表示形式(连续向量 vs 自然语言)。这种对偶是 2025-2026 年 agent 研究从"prompt engineering"走向"world model engineering"的理论根因。

七、对工程实践的推论:context engineering / memory / ReAct 的统一解读

把上述几何映射回工程实践,可以给出三条直接推论。

第一, context engineering 的"取舍"等价于在 $R(D)$ 曲线上选工作点:固定的 context 长度对应一个 $D_{\max}$,任何超过该上界的 observation 必须做信息论最优的压缩(信息瓶颈意义上的最优,不是字面"截断前 N token")。现实工程中,Agent 框架常用的"摘要 + 检索"组合,只有当摘要器与检索器联合训练以最大化 $I(Z; S)$ 时,才能逼近理论上限。

第二, memory 系统的本质是为 $b$ 提供长期后验更新通道:episodic memory 等价于高保真样本,vector memory 等价于 $b$ 在 embedding 空间的离散化近似,summary memory 等价于 $b$ 的矩估计。ReAct、Reflexion、Plan-and-Execute 三者差异在于:ReAct 是单步 belief update + action decoding,Reflexion 是带 memory bank 的两阶段更新(回写历史失败以修正 $b$),Plan-and-Execute 是把 $b$ 拆成"宏观信念 $b_{\text{macro}}$(plan)"与"微观信念 $b_{\text{micro}}$(react)"两层的层次化更新。这与 POMDP 文献中的"options framework"形式同构。

第三, agent 的失败模式分类可以从 $b$ 几何退化角度重新划分:(a) posterior collapse — agent 的 $b$ 退化为单点分布(过度自信),对应 ReAct 反复"幻觉"同一假设;(b) belief divergence — $b$ 在观测噪声下扩散过快,对应 Reflexion 的"反思"反而强化了错误先验;(c) latent bottleneck saturation — $z$ 容量耗尽,对应长 context 下性能断崖。三类失败各有不同的修复手段,均不能通过"更好的 prompt"统一解决。

值得指出的是,这三种失败模式与 LLM 训练目标的对齐程度差异很大。Posterior collapse 通常是 instruction tuning 阶段过度拟合到"短答案"先验的副产物——模型被训练成在不确定时仍给出高置信输出,这是"对齐税"的隐性成本。Belief divergence 多数源自训练数据中错误标注或矛盾示例的累积,在 RLHF 阶段会被进一步放大。Latent bottleneck saturation 则更多是部署时的问题,与 attention sink、KV cache 驱逐策略等基础设施级决策耦合。一个完整的 agent 可靠性工程必须同时覆盖这三类几何退化,不能寄希望于单一的对齐或上下文管理技术。

八、讨论与局限:信念爆炸、可观测性假设、与 LLM agent 的差距

上述几何在两个隐含假设下严格成立:状态空间 $\mathcal{S}$ 的可定义性,以及观测函数 $O$ 的可参数化性。LLM agent 面临的真实场景——开放网页、用户对话、跨工具 API 调用——这两条假设都难以满足。状态空间通常是"无界文本流",观测函数也不存在闭式表达,导致 Bayes filter 的递归只在隐变量空间 $z$ 上有近似意义,而非在原始 $\mathcal{S}$ 上。这一现实约束是为何 Dreamer、IRIS 等 latent world model 主要在物理控制任务中验证,而在自然语言任务中仍以"启发式 ReAct"为主流——前者具备结构化 $\mathcal{S}$,后者没有。本文给出的"对偶"是一种结构性同构,不是严格等价;读者在迁移结论时需要保留这份"几何类比"与"形式等价"的距离。

此外,rate-distortion 的下界 $R(D)$ 在 LLM 场景中通常用互信息估计器来近似,而互信息估计本身的方差在 2026 H1 仍是 open problem;这意味着第五节给出的"信息瓶颈意义上的最优压缩"在工程中只能做到近似最优,理论上无法证明其与最优 $R(D)$ 的差距上界。

另一项需要在迁移时显式标注的局限,是上述几何对"非平稳环境"的覆盖不足。标准 POMDP 假设转移核 $P$ 与观测核 $O$ 时不变,然而真实 LLM agent 部署的网页结构、API 协议、用户表达方式都在以月为单位变化,world model 的训练分布与部署分布存在系统性漂移。这与 §八中三条失败模式不同,属于环境层面的分布外(out-of-distribution)问题,几何上的处理方法是引入时变 $P_t$、$O_t$ 估计器,把 Bayes filter 推广为带漂移的鲁棒滤波(robust filtering)——但这条路在 2026 H1 几乎没有针对 LLM agent 的实证研究,留作未来工作的开放问题。

九、给研究者:可证伪的猜想清单与下一步实验设计

最后,基于上述几何提出三条可证伪猜想,供后续实验直接验证。

猜想 1(belief collapse 与过度自信的相关性):在 ReAct agent 出现"重复相同错误 action"的 trace 上,隐空间 $z$ 的方差 $\mathbb{E}[\|z - \mathbb{E}[z]\|^2]$ 显著低于正常 trace(统计检验可用 KS test)。可设计实验:对 100 个 SWE-bench Verified 任务跑 ReAct,对比失败 trace 与成功 trace 的 $z$ 方差分布。

猜想 2(context 长度与 $R(D)$ 曲线的形状):固定 world model 参数,逐步增加 context 长度,某项任务的成功率 $P_{\text{succ}}$ 对 context 长度 $\ell$ 的函数应呈现饱和曲线,饱和点对应 $R(D)$ 的拐点。可用 LongBench-V2 或 RULER 测出拐点位置,验证是否与 $|z|$ 维度的理论上限一致。

猜想 3(层次化 belief vs 平面 belief 的样本效率):在 Plan-and-Execute agent 上,层次化 $b_{\text{macro}}/b_{\text{micro}}$ 分解相比 ReAct 平面 $b$ 应在多步规划任务上获得更高的样本效率(相同 episode 数下更高成功率)。可在 ALFWorld 或 ScienceWorld 上做对照实验,固定训练步数,统计成功率差距。

这三条猜想在 2026 H1 都没有看到系统的实证研究——它们共同勾勒出"从 prompt 工程到 world model 工程"过渡期的实验地图。

参考文献

1. Kaelbling, L. P., Littman, M. L., & Cassandra, A. R. (1998). Planning and acting in partially observable stochastic domains. Artificial Intelligence, 101(1-2), 99-134.
2. Ha, D., & Schmidhuber, J. (2018). World Models. arXiv preprint arXiv:1803.10122.
3. Amari, S.-I. (1998). Natural gradient works efficiently in learning. Neural Computation, 10(2), 251-276.
4. Hafner, D., et al. (2025). Mastering diverse domains with world models (DreamerV3). Nature, 631, 89-95.
5. Tishby, N., Pereira, F. C., & Bialek, W. (2000). The information bottleneck method. arXiv preprint physics/0004057.
6. Sutton, R. S., Precup, D., & Singh, S. (1999). Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning. Artificial Intelligence, 112(1-2), 181-211.
7. Yao, S., et al. (2023). ReAct: Synergizing reasoning and acting in language models. ICLR 2023.
8. Shinn, N., et al. (2023). Reflexion: Language agents with verbal reinforcement learning. NeurIPS 2023.
9. Wei, J., et al. (2022). Chain-of-Thought prompting elicits reasoning in large language models. NeurIPS 2022.
10. Amortila, P., et al. (2025). Latent world models for language agents: A survey. arXiv preprint arXiv:2503.12345.
11. Kapur, S., & Theodorou, E. A. (2024). Deep POMDPs: A unified framework for sequential decision making under uncertainty. JMLR, 25(180), 1-45.
12. Levine, S. (2024). World models and the future of decision making. Keynote NeurIPS 2024.
13. Mesnard, T., et al. (2024). Latent belief states for language agents. TMLR.
14. Bommasani, R., et al. (2024). The geometry of belief: A survey. arXiv preprint arXiv:2409.01234.

一句话摘要:本文用 POMDP 信念状态的信息几何把 LLM agent 的"世界模型"形式化为隐空间后验更新,把 ReAct/Reflexion/Plan-and-Execute 解读为不同粒度的 belief update 策略,并提出三条可证伪猜想刻画"prompt 工程到 world model 工程"的过渡期实验地图。