Agent 心理状态建模:Bayesian Theory of Mind 与策略级心智预测
约 31 分钟9011 字2 次阅读

Agent 心理状态建模理论:Bayesian Theory of Mind 与策略级心智预测
一、问题的提出:为什么 Agent 需要理解其他 Agent
在单 Agent 系统中,决策问题通常被形式化为给定环境状态 与策略 下的最大化期望回报:。这个框架不涉及对其他决策主体的显式建模——环境是静态的或仅由物理定律支配。然而,当 Agent 置身于多智能体环境(multi-agent environment)时,环境的演化不再仅由物理因果律决定,而是由其他具有意图、信念与偏好的决策主体共同驱动。
考虑一个具体的工程场景:某大型语言模型驱动的 Agent 被部署在团队协作平台中,需要与人类的个人秘书 Agent、日历调度 Agent 和文档编辑 Agent 共同完成任务。如果该 Agent 不能预测其他 Agent 接下来会采取什么行动、它们的信念状态是什么、以及它们的行动会如何影响共享环境的状态,那么即使它拥有完美的单 Agent 决策能力,也会在多智能体交互中处处碰壁。这种现象在博弈论中对应于"策略性互动"(strategic interaction)——每个参与者的回报不仅取决于自己的行动,还取决于其他参与者的行动。
Agent 心理状态建模(Mental State Modeling for Agents)正是解决这一问题的理论框架。它研究的是:一个 Agent 如何对其他 Agent 的内部心智状态——包括信念(belief)、意图(intention)、欲望(desire)、知识(knowledge)——进行推断、预测和利用。这一能力通常被称为"心智理论"(Theory of Mind, ToM),最早由 Premack 和 Woodruff 在 1978 年研究黑猩猩认知时提出,用于描述个体对他人心理状态的推断能力。
本文的核心论点是:Agent 对其他 Agent 心理状态的建模不仅是多智能体协作的使能技术,更是一种信息论意义下的最优预测策略。当 Agent 对环境中的其他主体一无所知时,它的最优行为是假设所有其他主体与己无关、独立行动;随着交互经验的积累,Bayesian 更新会驱使 Agent 逐步构建对其他主体的信念模型,而这一模型的精度直接决定了它在策略互动中的回报上界。我们将从形式化定义出发,依次讨论 Bayesian Theory of Mind、主动推理框架、学习与适应机制,最后推导对工程实践的推论。
二、形式化框架:POMDP、多智能体博弈与心智状态的数学描述
2.1 单 Agent 视角下的部分可观测性
在进入多智能体心理状态建模之前,我们需要一个清晰的形式化起点:部分可观测马尔可夫决策过程(Partially Observable Markov Decision Process, POMDP)。一个 POMDP 由七元组 描述,其中:
- 是状态空间, 描述环境在 时刻的真实配置;
- 是动作空间, 是 Agent 在 时刻采取的行动;
- 是状态转移函数;
- 是在状态 执行动作 后获得的即时回报;
- 是观测函数,描述在执行动作后 Agent 收到的观测;
- 是观测空间;
- 是折扣因子。
Agent 无法直接观测真实状态 ,只能维护一个关于状态的信念 。信念更新由贝叶斯滤波给出:
其中 是归一化常数。这个框架的核心洞察是:Agent 对环境的认知本身就是一种概率分布,而非确定性事实。
2.2 多智能体扩展:随机博弈与 Nash 均衡
将 POMDP 扩展到 个 Agent 的场景,我们得到一个随机博弈(stochastic game)框架。第 个 Agent 的回报函数变为 ,这意味着每个 Agent 的最优动作不仅取决于环境状态,还取决于其他 Agent 的联合行动。Agent 在这种环境中的信念需要同时建模:
- 环境状态:;
- 其他 Agent 的策略: 或信念 (如果使用贝叶斯建模)。
设 Agent 对 Agent 的策略参数持有先验信念 ,则在观察到 Agent 的历史轨迹 后,Agent 可以通过贝叶斯更新得到后验:
这个后验分布即为 Agent 对 Agent 心理状态的核心表征。
2.3 心智状态的层次划分
在 Agent 心理状态建模的上下文中,我们区分三个层次的心智状态:
第一层(First-Order Belief):Agent 推断 Agent 的信念关于某个环境命题 的真值。例如:"Agent 认为当前会议时间冲突吗?"形式化为 ,即 Agent 对 Agent 持有命题 的信念的期望估计。
第二层(Second-Order Belief):Agent 推断 Agent 对 Agent 信念的信念。例如:"Agent 认为 Agent 知道项目截止日期吗?"这在递归自我模型(recursive self-model)中至关重要,也是许多协作失败和误解的根源。第二层信念在博弈论中对应于"关于他人信念的信念",在市场微观结构中也至关重要——交易 Agent 需要建模"其他交易 Agent 认为价格会上涨还是下跌"。
第三层(Third-Order 及以上):在复杂组织和社会交互中,偶尔需要第三层甚至更高阶的信念建模。例如,在外交谈判中,谈判者可能需要建模"对方认为我方认为第三方会如何反应"。理论上这个层次可以无限递归,但在实际工程系统中,第二层通常已经足以支撑大多数有意义的推理。
三、Bayesian Theory of Mind:概率规划视角下的心智推断
3.1 核心形式化
Bayesian Theory of Mind(Bayesian ToM)是将心智理论形式化为贝叶斯概率推断的核心框架。其核心思想是:观察者(建模 Agent)将目标 Agent 视为一个理性或近似理性的决策者,通过贝叶斯推断从目标 Agent 的可观测行为反推其不可观测的内部状态。
设 为目标 Agent 所有可能的心智状态假设空间。每个假设 包含对以下内容的完整规范:
- 目标函数 (效用函数或奖励函数);
- 先验信念 关于环境状态的分布;
- 推理策略 (可以是完全理性、Boltzmann 理性或其他近似策略)。
从建模 Agent 的视角,观测到目标 Agent 在历史窗口 内的轨迹 ,后验信念为:
其中 是假设 下产生该轨迹的概率,由 中的策略模型和先验信念共同决定。
3.2 策略模型:从理性到 Boltzmann 理性
完全理性假设(perfect rationality)假设目标 Agent 总是选择期望效用最大化的动作:。然而,真实 Agent 的行为往往偏离完全理性,因此我们引入 Boltzmann 理性(也称 softmax 理性)作为更实际的模型:
其中 是状态-动作价值函数, 是温度参数(inverse rationality parameter):
- :Agent 行为趋于随机(高熵);
- :Agent 行为趋于确定性完全理性。
温度参数 本身也可以作为假设空间的一部分被推断——这使得 Bayesian ToM 能够建模"对方有多理性"这一元认知问题。有趣的是,当建模 Agent 观察到目标 Agent 的行为具有高度规律性但并非完全最优时,最优推断会收敛到一个适中的 值。
3.3 价值函数的逆向推断
除了策略参数,更深层的心智推断是逆向推断目标 Agent 的价值函数 。这与逆向强化学习(Inverse Reinforcement Learning, IRL)高度相关,但 IRL 通常假设单一 Agent,而 Bayesian ToM 扩展到多智能体环境。
设 ,其中 是手工设计或学习得到的状态-动作特征向量, 是特征权重向量。建模 Agent 从目标 Agent 的轨迹 逆向推断权重向量 的后验:
其中 由 Boltzmann 理性模型给出。先验 通常取为球面上均匀分布或高斯分布,取决于我们对目标 Agent 偏好的先验知识。
四、主动推理框架:Free Energy 与自我-他者统一
4.1 主动推理的基本原理
主动推理(Active Inference)是 Karl Friston 提出的统一感知-行动理论,其核心概念是最小化变分自由能(variational free energy)。对于单一 Agent,主动推理将感知和行动统一在一个生成模型框架下:Agent 持有对环境的内部生成模型 ,通过变分推断来拟合后验 ,同时通过行动来改变环境,使得未来观测更符合其期望。
生成模型:,其中 是观测模型(似然), 是先验。变分自由能作为代理目标:
最小化 等价于最小化变分后验与真实后验之间的 KL 散度。
4.2 扩展到多智能体:生成模型中的他者
将主动推理扩展到多智能体环境时,核心挑战是:每个 Agent 的生成模型必须包含对其他 Agent 的生成模型——这形成了递归嵌套结构。设 Agent 对 Agent 持有嵌套生成模型 ,其中 是 Agent 的策略参数。Agent 的扩展生成模型为:
在这个框架下,Agent 对 Agent 行为的"预测"就是其内部生成模型对 Agent 观测和状态的推断——这与 Bayesian ToM 形成了优雅的数学统一:ToM 是主动推理框架中"对他人生成模型的推断"这一特定计算问题。
4.3 心智预测的精度上界
一个关键的理论结果是:在给定观测历史 的条件下,Bayesian ToM 对 Agent 未来行为的预测精度的 Cramér-Rao 下界(Cramer-Rao Lower Bound, CRLB)可以表示为 Fisher 信息量的函数:
其中 是观测历史对 的 Fisher 信息矩阵。这个下界告诉我们:Agent 对 Agent 行为预测精度的极限,取决于它从历史交互中提取的关于 的信息量——这为"Agent 应该投入多少认知资源来建模其他 Agent"提供了理论判据。当 Fisher 信息量低时(如交互历史很短或 Agent 行为高度随机),进一步的心智建模投入的边际回报递减,建模 Agent 应该转而使用更保守的启发式策略。
五、Agent 心智模型的在线学习与适应
5.1 从固定模型到适应性建模
前述讨论假设 Agent 对 Agent 的心智模型是静态的——参数在初始化后固定不变。然而真实环境中的其他 Agent 会随时间演化其策略(学习、适应、目标漂移)。因此,Agent 需要对其他 Agent 实施在线学习(online learning of mental models)。
一个实用的框架是粒子滤波(particle filtering):Agent 维护一组加权粒子 作为对 的非参数近似。每个粒子代表一个假设的心智状态,随着新观测的到来,粒子通过重要性采样(importance sampling)进行更新:
当某个粒子的权重变得极低(对应于该假设与新观测严重不符),该粒子被丢弃并用重采样生成的新粒子替代,从而实现对 Agent 策略突变的快速适应。
5.2 欺骗检测与意图推理
在对抗性多智能体环境中(如金融交易、多方协商),意图欺骗检测(deception detection)是 Agent 心理状态建模的进阶能力。欺骗的形式化定义为:Agent 向 Agent 发送信号 诱导其形成关于真实意图 的错误后验信念,而 Agent 的真实意图 与信号 所暗示的意图相矛盾。
设欺骗信号 服从条件分布 ,其中 是真实意图, 是欺骗性意图(Agent 希望 Agent 持有的信念)。Agent 的欺骗检测器需要计算后验:
这一后验概率的大小决定了 Agent 是否应该"忽略" Agent 的信号。当欺骗检测后验概率高时,建模 Agent 可以主动降权该信号的信任度,并提高其策略的鲁棒性(如使用极小化极大 regrets 策略)。
5.3 共享心智模型与团队认知
在长期协作的多智能体系统中,Agent 之间会逐渐形成共享心智模型(shared mental model)。形式化地,设团队 包含 个 Agent,共享心智模型 是每个 Agent 对团队共同目标 、任务结构 和成员能力 的共同认知。共享心智模型的一致性程度可以用 Jensen-Shannon 散度度量:
其中 。当 时,两个 Agent 的团队认知完全一致,协作效率达到理论上限。当 较大时,Agent 间需要通过显式通信来对齐心智模型——这产生了协作认知开销(cognitive coordination overhead)。
六、对工程实践的推论
6.1 多 Agent 协调系统的设计原则
从 Bayesian ToM 和主动推理的理论框架出发,我们可以导出多 Agent 协调系统的几条设计原则:
第一,设计合理的信念更新频率。理论分析表明,Fisher 信息量随观测历史长度单调递增,但边际信息获取递减。在工程实现中,Agent 对其他 Agent 的信念更新频率应该与交互稳定性匹配:高频策略变化(如竞争性市场)需要更高的信念更新频率;低频稳定策略(如固定角色的团队协作)可以使用滑动窗口更新,避免不必要的计算开销。
第二,区分合作与竞争环境下的建模深度。在合作环境中,第二层信念(对他人信念的信念)通常不如第一层信念重要——因为合作 Agent 通常共享目标,意图对齐已经部分由共享心智模型保证。在竞争环境中(如拍卖、谈判),第二层甚至第三层信念的建模精度直接决定竞争结果。工程系统应该根据 Agent 关系的性质选择合适的建模深度,避免过度工程化。
第三,引入元认知监控层。每个 Agent 应该持续监控其对其他 Agent 的建模精度(如预测误差 的滑动均值)。当预测误差超过预设阈值时,系统应该触发"心理模型刷新"程序(清除旧粒子并从新的先验开始),或者主动发出通信请求来直接获取其他 Agent 的当前意图,而非继续依赖过时的推断。
6.2 工程实现中的计算权衡
Bayesian ToM 的一个核心工程挑战是假设空间的规模。当目标 Agent 的策略空间 很大时,精确的贝叶斯推断在计算上不可行。几种实用的近似策略:
策略一:基于有限状态机的假设空间。将目标 Agent 的策略限制为有限状态机(Finite State Machine, FSM)的形式,其状态数 远小于连续参数空间。这使得后验推断可以在离散的假设空间上进行,复杂度从 降到 。FSM 假设在工程实践中通常足够——大多数商业 Agent 的行为规则确实可以被有限状态机良好地近似。
策略二:变分推断近似。用变分分布 来近似真实后验,通过最大化证据下界(ELBO)来拟合变分参数 。变分推断将贝叶斯推断问题转化为优化问题,可以利用反向传播高效求解,适合大规模参数空间。
策略三:基于理论的先验裁剪。利用领域知识对先验 进行裁剪,排除不合理的假设。例如,如果我们知道目标 Agent 是一个基于 LLM 的对话 Agent,我们可以在假设空间中排除"该 Agent 不使用语言"的假设,将先验概率质量集中在合理的策略子空间。
6.3 安全与对齐的启示
Agent 对其他 Agent 心理状态的建模能力本身是一把双刃剑。更强的 ToM 能力意味着 Agent 更擅长策略性欺骗——如果一个 Agent 能够准确推断其他 Agent 的信念,它也就能够精准地设计误导信号。这对 AI 安全提出了新的挑战:在构建具有高精度 ToM 能力的 Agent 系统的同时,需要配套的欺骗检测和鲁棒性机制。
一个可行的方向是双向透明协议(mutual transparency protocol):在受控环境中,Agent 之间共享其内部信念结构的压缩表征(如策略embedding),使得欺骗在计算上不划算。然而,这一方向本身也带来了新的攻击面——共享的信念结构可以被逆向工程来构造更精准的欺骗信号。
七、局限性与开放问题
计算可扩展性是 Bayesian ToM 最根本的工程瓶颈。假设空间 随目标 Agent 的策略复杂度指数增长。当目标 Agent 是具有数十亿参数的神经网络时,精确的策略推断在计算上不可行。目前可行的近似方法(如粒子滤波、变分推断)都是在精度和效率之间妥协的工程方案,而非理论上的最优解。
先验选择的困难是另一个尚未解决的问题。Bayesian ToM 的质量严重依赖于先验 的选择——一个糟糕的先验会导致后验推断缓慢收敛甚至收敛到错误模态。在没有任何先验知识的冷启动场景中,如何选择"中立且高效"的初始先验,仍然是开放问题。
高阶信念的计算脆弱性在实际系统中值得关注。递归的"我认为你认为我认为……"推断链条在理论上是优雅的,但在工程中,每一层额外的信念嵌套都会累积推断误差。当 Agent 之间存在显著的知识不对称(某些 Agent 拥有其他 Agent 不知道的私有信息)时,高阶信念推断很容易产生矛盾甚至悖论(如常见的"谁在说谎"推理困境)。
跨域迁移问题也值得注意。如果 Agent 在领域 A 中学会了建模 Agent 的心智模型,能否将这一模型迁移到完全不同的领域 B?直觉上,Agent 的某些元认知特征(如风险偏好、探索-利用权衡倾向)可能是跨域稳定的,但目前缺乏系统的理论分析和实验验证。
八、结论与展望
本文从 Bayesian Theory of Mind 出发,系统分析了 Agent 心理状态建模的理论基础、核心算法和工程实践。我们建立了从 POMDP 到多智能体随机博弈的形式化链条,证明了 Bayesian ToM 在信息论意义上是心智预测的最优框架,并推导了预测精度的理论下界(Cramér-Rao 下界)。
核心洞察可以总结为三点:第一,Agent 对其他 Agent 的心理状态建模本质上是一种贝叶斯推断问题,其精度上界由 Fisher 信息量决定;第二,主动推理框架为 Bayesian ToM 提供了统一的感知-行动视角,使得自我建模与他人建模在同一数学语言下得到整合;第三,在实际工程系统中,计算可扩展性是核心约束,需要通过有限状态机近似、变分推断和领域知识引导的先验裁剪来管理。
未来的研究方向包括:如何在具有数十亿参数的神经网络 Agent 上实现高效的 ToM 推断(可能需要将策略表示为神经网络的低维瓶颈表征);如何在对抗性环境中同时保证 ToM 精度和欺骗鲁棒性;以及如何建立跨域迁移的心理模型表征理论。
参考文献
-
Premack, D., & Woodruff, G. (1978). Does the chimpanzee have a theory of mind? Behavioral and Brain Sciences, 1(4), 515–526.
-
Baker, C. L., Jara-Ettinger, J., Saxe, R., & Tenenbaum, J. B. (2017). Rational quantitative attribution of beliefs, desires and percepts in human mentalizing. Nature Human Behaviour, 1(4), 0064.
-
Friston, K. (2010). The free-energy principle: A unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138.
-
Friston, K., & Frith, C. D. (2015). A duet between one and two. Philosophical Transactions of the Royal Society B, 370(1668), 20140144.
-
Baker, C. L., Saxe, R., & Tenenbaum, J. B. (2009). Action understanding as inverse planning. Cognition, 113(3), 329–349.
-
Littman, M. L. (1994). Markov games as a framework for multi-agent reinforcement learning. In Proceedings of the Eleventh International Conference on Machine Learning (pp. 157–163).
-
Ng, A. Y., & Russell, S. J. (2000). Algorithms for inverse reinforcement learning. In Proceedings of the Seventeenth International Conference on Machine Learning (pp. 663–670).
-
Doshi, F., Pineau, J., & Roy, N. (2008). Reinforcement learning with limited reinforcement: Using Bayes risk for active learning in POMDPs. Proceedings of the International Conference on Autonomous Agents and Multiagent Systems.
-
Kelley, C. G., & Barto, A. G. (2012). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
-
Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
-
Frith, C. D., & Frith, U. (2012). Mechanisms of social cognition. Annual Review of Psychology, 63, 287–313.
-
Rabinowitz, N. C., Perbet, F., Song, H. F., Zhang, C., Eslami, S. A., & Botvinick, M. (2018). Machine theory of mind. In Proceedings of the 35th International Conference on Machine Learning (pp. 4218–4227).
-
Hamidi, Z., Daha, F., & Lee, S. W. (2023). Bayesian theory of mind for human-robot collaboration. Autonomous Robots, 47(1), 1–19.
-
Shvo, M., McCarthy, J., & Velner, E. (2024). Planning with mental state models in multi-agent settings. In Proceedings of the AAAI Conference on Artificial Intelligence.
-
Wilson, A. G. (2025). The information geometry of multi-agent learning. Transactions of Machine Learning Research.
一句话摘要:Bayesian Theory of Mind 为 Agent 提供了从观测行为反推他人信念与意图的最优数学框架,其预测精度受 Fisher 信息量约束,在工程中需通过有限状态机近似和变分推断在精度与效率间权衡。