Agent 世界模型的 POMDP 信念几何 2026
用 POMDP 信念状态的信息几何把 LLM agent 的世界模型形式化为隐空间后验更新,ReAct/Reflexion/Plan-and-Execute 是不同粒度的 belief update 策略,提出三条可证伪猜想刻画 prompt 工程到 world model 工程的过渡。
约 21 分钟阅读6,017 字24 次阅读博主
用 POMDP 信念状态的信息几何把 LLM agent 的世界模型形式化为隐空间后验更新,ReAct/Reflexion/Plan-and-Execute 是不同粒度的 belief update 策略,提出三条可证伪猜想刻画 prompt 工程到 world model 工程的过渡。
2026 年主流的 LLM Agent 工程(ReAct、Reflexion、Plan-and-Execute)在落地时被反复问到一个问题:agent 究竟是在"推理",还是在"反复刺激-反应"?前者要求 agent 维护一个关于环境的内部模型,后者的策略只是从历史 (observation, action) 序列到下一个 action 的条件分布。本文要论证的是:把这两种视角用 POMDP(Partially Observable Markov Decision Process)的信念状态(belief state)几何统一起来,可以让 ReAct 的"思考"步骤从启发式工程升格为可证伪的理论对象——它实质上是 belief state 在隐空间的后验更新,而 world model 是这条更新链路的隐式参数化器。
经典 MDP 用五元组 描述决策过程,其中状态 完全可观测。POMDP 引入第六个元素——观测函数 ——使得 agent 在时刻 只能拿到观测 而非真实状态 。决策者因此被迫维护一个信念状态(belief state):
是定义在状态空间 上的概率分布,所有决策——值函数 、策略 、critic ——都必须以 为输入而非以原始 为输入。这个看似简单的"加一层分布"带来了三个根本性后果:决策空间从 升到无限维函数空间 ;最优策略不再有有限状态表达(需要 history-dependent 或 belief-dependent 表示);任何在原始 上做条件化的策略——例如 prompt 里直接拼接 observation——在 POMDP 框架下都是次优的,除非隐式等价于把 编码进上下文。
信念状态的时间演化由 Bayes filter 精确刻画:
这个递归有两项关键成本:第一,状态空间 通常连续高维(例如网页状态、文档库、多轮对话历史),精确递推在计算上不可行;第二,转移核 与观测核 往往未知,需要从数据中学习——这正是 world model 的存在理由:用参数化函数 、 逼近真实后验,把 Bayes filter 变成可微计算图。工程上有三条主要逼近路径:(1) 粒子滤波(particle filter)用一组带权样本 近似 ,适合离散/混合动作空间;(2) 解析高斯近似(extended/unscented Kalman filter)在 为单峰高斯时高效,但对多模态信念爆炸;(3) 学习式近似——用神经网络直接预测 的参数,这正是 DreamerV3、IRIS 等 latent world model 的隐式实现。
# 伪代码:ReAct agent 的 belief update 单步(LLM 后端)
def react_belief_step(b_t, history, o_t, llm):
# 1. 把 belief b_t 编码进 prompt(近似 Fisher-Rao 坐标)
prompt = f"[BELIEF]\n{compress(b_t)}\n[HISTORY]\n{history}\n[OBS]\n{o_t}"
# 2. LLM 做"思考":实质上是 h_theta(z_t, a_t) 的一步预测
thought = llm.reason(prompt)
# 3. 更新 belief:从 thought 中抽取新状态估计
b_new = extract_belief(thought, prior=b_t)
# 4. 解码 action(pi_phi(a | z))
a_t = llm.act(prompt + thought)
return b_new, a_t, thought
图表加载中…
把 看作分布族 的元素,信念更新可以被理解为参数空间 上的优化。Fisher 信息矩阵 自然地诱导出 上的黎曼度量,使得最速下降方向不再是普通的负梯度 ,而是所谓的"自然梯度" 。这条变换的物理含义是:在分布意义上"等距"的参数扰动应该产生等价的策略改进,与坐标系的局部缩放无关。对 LLM agent 而言,自然梯度的几何意义有一个具体推论——同一段 prompt 改写(等价于在 上做坐标重参数化)不应改变最优 action,但 SGD 风格的离散文本编辑却可能;这是"prompt 敏感性"的根因之一。
Latent world model 实质上是 的一个低维编码器 ,其容量受率失真(rate-distortion)函数 控制。当隐维度 给定时,world model 的最大可表达信息量 存在上界;一旦真实环境熵 超过该上界,任何压缩都不可避免地丢失关键信息,导致 agent 在"分布外"的观测上做出次优决策。对 LLM agent 的现实意义是:context window 长度就是 的容量上限,过长的 observation history 不一定能换来更好的 ——多余的 token 反而挤占了与 曲线匹配的关键信号。这一点呼应了 id=363"记忆架构信息论几何"中关于"互信息瓶颈"的论述,但视角从"记忆"扩展到"信念",约束面更广。
把 world model 视作隐空间动力学,policy 视作 空间到动作空间的解码器,二者构成一个 deep POMDP 的"对偶对"。具体地,如果 是 world model 的转移函数,那么策略网络 与 之间满足: 其中 是 POMDP 最优策略。这条优化目标的解给出了 ReAct 的形式化版本:reasoning step 等价于用 做一步隐变量预测,action selection 等价于在 空间做 解码——而不是 prompt engineering 的离散文本拼接。Latent world model 的训练损失(world model loss + actor-critic loss)因此与 POMDP 的信念更新 + Bellman 备份在数学上同构,差别只在于表示形式(连续向量 vs 自然语言)。这种对偶是 2025-2026 年 agent 研究从"prompt engineering"走向"world model engineering"的理论根因。
把上述几何映射回工程实践,可以给出三条直接推论。
第一, context engineering 的"取舍"等价于在 曲线上选工作点:固定的 context 长度对应一个 ,任何超过该上界的 observation 必须做信息论最优的压缩(信息瓶颈意义上的最优,不是字面"截断前 N token")。现实工程中,Agent 框架常用的"摘要 + 检索"组合,只有当摘要器与检索器联合训练以最大化 时,才能逼近理论上限。
第二, memory 系统的本质是为 提供长期后验更新通道:episodic memory 等价于高保真样本,vector memory 等价于 在 embedding 空间的离散化近似,summary memory 等价于 的矩估计。ReAct、Reflexion、Plan-and-Execute 三者差异在于:ReAct 是单步 belief update + action decoding,Reflexion 是带 memory bank 的两阶段更新(回写历史失败以修正 ),Plan-and-Execute 是把 拆成"宏观信念 (plan)"与"微观信念 (react)"两层的层次化更新。这与 POMDP 文献中的"options framework"形式同构。
第三, agent 的失败模式分类可以从 几何退化角度重新划分:(a) posterior collapse — agent 的 退化为单点分布(过度自信),对应 ReAct 反复"幻觉"同一假设;(b) belief divergence — 在观测噪声下扩散过快,对应 Reflexion 的"反思"反而强化了错误先验;(c) latent bottleneck saturation — 容量耗尽,对应长 context 下性能断崖。三类失败各有不同的修复手段,均不能通过"更好的 prompt"统一解决。
值得指出的是,这三种失败模式与 LLM 训练目标的对齐程度差异很大。Posterior collapse 通常是 instruction tuning 阶段过度拟合到"短答案"先验的副产物——模型被训练成在不确定时仍给出高置信输出,这是"对齐税"的隐性成本。Belief divergence 多数源自训练数据中错误标注或矛盾示例的累积,在 RLHF 阶段会被进一步放大。Latent bottleneck saturation 则更多是部署时的问题,与 attention sink、KV cache 驱逐策略等基础设施级决策耦合。一个完整的 agent 可靠性工程必须同时覆盖这三类几何退化,不能寄希望于单一的对齐或上下文管理技术。
上述几何在两个隐含假设下严格成立:状态空间 的可定义性,以及观测函数 的可参数化性。LLM agent 面临的真实场景——开放网页、用户对话、跨工具 API 调用——这两条假设都难以满足。状态空间通常是"无界文本流",观测函数也不存在闭式表达,导致 Bayes filter 的递归只在隐变量空间 上有近似意义,而非在原始 上。这一现实约束是为何 Dreamer、IRIS 等 latent world model 主要在物理控制任务中验证,而在自然语言任务中仍以"启发式 ReAct"为主流——前者具备结构化 ,后者没有。本文给出的"对偶"是一种结构性同构,不是严格等价;读者在迁移结论时需要保留这份"几何类比"与"形式等价"的距离。
此外,rate-distortion 的下界 在 LLM 场景中通常用互信息估计器来近似,而互信息估计本身的方差在 2026 H1 仍是 open problem;这意味着第五节给出的"信息瓶颈意义上的最优压缩"在工程中只能做到近似最优,理论上无法证明其与最优 的差距上界。
另一项需要在迁移时显式标注的局限,是上述几何对"非平稳环境"的覆盖不足。标准 POMDP 假设转移核 与观测核 时不变,然而真实 LLM agent 部署的网页结构、API 协议、用户表达方式都在以月为单位变化,world model 的训练分布与部署分布存在系统性漂移。这与 §八中三条失败模式不同,属于环境层面的分布外(out-of-distribution)问题,几何上的处理方法是引入时变 、 估计器,把 Bayes filter 推广为带漂移的鲁棒滤波(robust filtering)——但这条路在 2026 H1 几乎没有针对 LLM agent 的实证研究,留作未来工作的开放问题。
最后,基于上述几何提出三条可证伪猜想,供后续实验直接验证。
猜想 1(belief collapse 与过度自信的相关性):在 ReAct agent 出现"重复相同错误 action"的 trace 上,隐空间 的方差 显著低于正常 trace(统计检验可用 KS test)。可设计实验:对 100 个 SWE-bench Verified 任务跑 ReAct,对比失败 trace 与成功 trace 的 方差分布。
猜想 2(context 长度与 曲线的形状):固定 world model 参数,逐步增加 context 长度,某项任务的成功率 对 context 长度 的函数应呈现饱和曲线,饱和点对应 的拐点。可用 LongBench-V2 或 RULER 测出拐点位置,验证是否与 维度的理论上限一致。
猜想 3(层次化 belief vs 平面 belief 的样本效率):在 Plan-and-Execute agent 上,层次化 分解相比 ReAct 平面 应在多步规划任务上获得更高的样本效率(相同 episode 数下更高成功率)。可在 ALFWorld 或 ScienceWorld 上做对照实验,固定训练步数,统计成功率差距。
这三条猜想在 2026 H1 都没有看到系统的实证研究——它们共同勾勒出"从 prompt 工程到 world model 工程"过渡期的实验地图。
一句话摘要:本文用 POMDP 信念状态的信息几何把 LLM agent 的"世界模型"形式化为隐空间后验更新,把 ReAct/Reflexion/Plan-and-Execute 解读为不同粒度的 belief update 策略,并提出三条可证伪猜想刻画"prompt 工程到 world model 工程"的过渡期实验地图。
Conversation
0 条