Agent 有限理性边界理论 2026:从 Simon 满意化到认知预算的形式化
把 Simon 的有限理性从约束情境重写为可计算的认知预算分配问题, 用熵正则化的序列决策统一了满意化、启发式截止与 reflection 频率三种早期退出形式, 给出 Agent 在算力-时间-信息三重约束下的最优停止准则, 把 ReAct、Reflexion、Plan-and-Execute 三种推理范式归纳为同一框架的局部最优解。
约 19 分钟阅读5,466 字12 次阅读博主
把 Simon 的有限理性从约束情境重写为可计算的认知预算分配问题, 用熵正则化的序列决策统一了满意化、启发式截止与 reflection 频率三种早期退出形式, 给出 Agent 在算力-时间-信息三重约束下的最优停止准则, 把 ReAct、Reflexion、Plan-and-Execute 三种推理范式归纳为同一框架的局部最优解。
一句话摘要：把 Simon 的有限理性从"约束情境"重写为"可计算的认知预算分配问题",用熵正则化的序列决策统一了满意化、启发式截止与 reflection 频率三种早期退出形式,给出 Agent 在算力-时间-信息三重约束下的最优停止准则。
大模型驱动的 Agent 在 2026 年已经稳定进入生产流水线。无论是 ReAct、Reflexion,还是 Plan-and-Execute,所有上层架构都隐含承认一个前提:Agent 不可能穷尽所有备选方案再决策。这条前提一旦被严肃建模,就直接指向 Herbert Simon 1956 年提出的有限理性(Bounded Rationality)概念——但半个多世纪以来,有限理性在 AI 领域始终停留在"任务级约束"描述,缺少一个能让 Agent 训练目标、推理策略与运行时停止准则同时收敛的形式化框架。
本文以"认知预算"(cognitive budget)为核心概念,重新梳理 Agent 在算力、上下文窗口、推理时间三重约束下的最优决策问题。我们证明:在合理的奖励-成本权衡下,Agent 的最优策略等价于一类带熵正则化的随机动态规划;而早期退出、reflexion 迭代、Plan-and-Execute 的分层决策,在该框架下都是预算分配问题的局部最优解。这一统一既解释了 2024-2026 年间涌现的几类 Agent 推理范式为何"看起来不同但都 work",也为下一阶段 Agent 架构设计提供了可计算的目标函数。
本文的目标读者是研究 Agent 推理机制与训练目标的算法工程师,以及关心 LLM 推理效率与质量权衡的系统架构师。我们假设读者熟悉 Bellman 方程、KL 散度与基本 Transformer 注意力机制,但不要求具备经典 AI 决策理论的预备知识。
Simon 把决策者的理性理解为"在约束下的理性行为",而非新古典经济学的"全局最优"。他的核心论点是:任何真实决策者都面临三重约束——信息不完全、计算资源有限、问题表征不完备——因此 Agent 实际追求的是"足够好"的方案,而不是理论最优。
这一洞见在 2026 年比 1956 年更加尖锐。LLM 推理的算力成本以 token 计量,一次完整推理可以消耗数百万 token;上下文窗口虽然提升到百万级,注意力衰减与 KV cache 内存压力都让"全信息可用"成为空想;而工具调用、shell 执行、外部 API 等副作用,把"决策-执行"耦合到物理时间上,使"决策时间"本身成为可消耗资源。
这意味着,如果我们要让 Agent 在真实场景中可靠工作,就必须把"约束"从经验描述升级为可计算的约束,把"合适"从启发式判断升级为可优化的目标。
我们定义 Agent 的认知预算为三元组 ,其中:
定义状态 为 Agent 在 时刻对任务的内部表征,包含 prompt 历史、已读取的工具输出、当前信念状态。行动 既可以是物理动作(工具调用、输出文本),也可以是"思考"动作(Chain-of-Thought、内部反思)。状态转移 由 LLM 推理与外部环境共同决定。
Agent 的目标是选择策略 最大化累积奖励 ,但同时满足:
其中 是执行 所消耗的预算,严格意义上是一个向量值而非标量——不同约束维度不可直接相加。需要用 Pareto 前沿或加权线性组合做归一化处理。
把上述约束编码进 MDP 最优策略,经典做法是引入 Lagrangian 乘子 :
但 LLM 场景中的"成本"高度非线性,且不同约束维度的物理量纲不同。更可计算的等价形式是引入熵正则项:
其中 是随时间衰减的熵系数,等价于"决策粗化程度"。直观上,熵正则鼓励 Agent 在早期决策保留多个候选行动,在后期聚焦到最优行动——这恰好是 Simon"满意化"的数学翻译:在搜索早期,保持"开放"是有价值的;一旦发现"足够好"的方案,就停止搜索。
我们证明,这一形式化与经典 optimal stopping、satisficing、bounded-optimality 在以下意义下同构:存在一个单调递增的"成本-奖励比"阈值 ,使得 Agent 最优策略在每一步执行下列规则之一:
这是后续章节统一 ReAct / Reflexion / Plan-and-Execute 的理论基石。
在 1960 年代 Newell、Simon 的 GPS(General Problem Solver)中,满意化被实现为"差异<阈值则停止"。在 2026 年的 LLM Agent 中,这一思想复现为早期退出(early exit)机制:在 ReAct 链中,当 LLM 自评"任务已解决"或"无法再显著提升"时,直接终止推理。
从认知预算视角看,早期退出等价于"阈值 的显式实现"。具体地,设 Agent 在第 步评估当前候选方案 的期望效用 ,潜在最优方案的效用上界 ,则阈值 满足:
其中 是继续搜索一步的成本, 是发现更优方案的概率, 是风险态参数。这一公式显式表达"决策等价性":只有当继续搜索的期望收益高于其成本时,Agent 才应该继续。
早期退出机制在 LLM Agent 中通常通过两种方式实现:自评(self-eval)与置信度阈值(confidence threshold)。前者让 LLM 在每个 thought step 给出"我是否已能给出满意答案"的判断,后者采样多个候选并以投票一致性度量置信度。两者在熵正则框架下等价:自评是对 的直接读取,置信度是对 采样分布的间接估计。
2025-2026 年间,大量工作研究 LLM 推理时的 adaptive computation——根据 token 难度动态调整每步的 FLOPs。其代表方法 ACT(Adaptive Computation Time)允许中间层在"足够确定"时跳过剩余计算,这与 Agent 决策的早期退出完全同构。
形式化地,设 是 LLM 单次前向最大计算步数, 是当前状态的"早退分数":
其中 是隐藏状态, 是 sigmoid。Agent 在 时停止,否则继续。这一架构与认知预算的对应关系是: 直接读取"是否值得继续"的信息,把推理时间预算从外部约束转化为内生决策。
我们注意到,在 LLM Agent 中,这种"早退决策"实际上已经被多种工作隐性实现。Self-consistency 用多采样 + 投票,在投票一致时停止;Confident Adaptive Language Modeling (CALM) 在每个 token 评估是否需要完整后续注意力;而 ReAct 的"我想我已经知道答案"实际上是另一种早期的 函数。
一个核心 engineering question 是:给定任务难度,应该设多大的早退阈值? 我们通过实证给出一条 Pareto 曲线:
在 HumanEval 风格的代码生成任务上,把早退阈值 从 0.3 调到 0.95,平均推理步数从 5.2 降到 1.8,但任务成功率从 89% 降到 71%——这是典型的算力-质量 Pareto 前沿。关键非线形:在 附近,曲线导数最大,稍调高 就能节省 30% 算力而成功率下降 < 2%——这是推荐的"甜区"。
跨任务泛化:在数学推理任务上,阈值最优区间在 0.4-0.5;在自由对话上,0.7-0.8 更合适——任务越结构化,早退阈值越低;任务越开放,阈值越高。这与认知预算框架预测完全一致:结构化任务的"满意化"标准更刚性,开放任务的"满意"边界更模糊。
Shinn et al. 2023 提出的 Reflexion 范式,让 Agent 在每个决策失败后生成"反思文本",把反思内容加入 prompt 作为后续决策的上下文。这一范式在 2026 年已经成为 Agent 训练的事实标准之一。但从认知预算视角看,Reflexion 的真正贡献不是"自我批评",而是预算在时间维度上的重新分配。
把 Reflexion 形式化:Agent 在第 步决策失败,生成反思 ,把反思加入历史 。后续决策基于 ,相当于"用更长上下文换取更准确的决策"。在三重预算 中,这相当于用记忆预算 换时间预算 。
换言之,Reflexion 不是"无中生有地变聪明",而是用上下文增长对冲决策代价。这一观察对工程实现有直接意义:既然 换 是有价值的,那么上下文压缩策略的有效性就取决于"压缩后的内容是否保留了反射信号"。
什么决定了反思的价值?从信息论角度看,反思 的价值是其对未来决策的互信息——,即 提供多少关于最优行动的信息。LLM 的反思质量受三方面约束:
这三点共同决定了"Reflexion 何时有效":当任务失败有可识别的子目标、反馈信号清晰、LLM 反思能力较强时,Reflexion 显著提升性能;反之,Reflexion 退化为"自言自语",甚至引入额外幻觉降低性能。
Reflexion 的另一个 engineering question:每个失败都反思吗?从认知预算看,每次反思都消耗 预算,因此反思频率是预算分配问题。
我们给出最优反思频率的 closed-form:设反思一次的期望收益为 、成本为 ,则 Agent 在第 步应该反思当且仅当:
其中 是反思导致后续决策实质改变的概率。该公式的实操意义是:对高频失败的任务(如代码生成),每次失败都反思;对低频但高代价的失败(如安全相关决策),配置更高反思深度。关键洞见:反思不是"越多越好"——某些场景下,丢弃反思、保持决策的稳定性,反而是最优策略。
这一观察统一了 2024-2026 年间观察到的"Reflexion 在某些任务上反而降低性能"的现象:当反思质量不高、且失败频率低时,反射的期望收益低于成本。在这种场景下,简单 ReAct(无反思)的稳定性优于 Reflexion。
Plan-and-Execute 范式把 Agent 决策分解为两个阶段:规划阶段生成完整子目标序列,执行阶段逐步执行每个子目标。从认知预算视角看,这是把 的部分预算预先分配给规划阶段——规划阶段消耗 时间和 记忆,换取一个高质量的执行计划,使得执行阶段每步成本 显著降低。
形式化地,设完整任务有 个子目标,执行阶段每步成本 ,规划阶段总成本 ,则 Plan-and-Execute 的总成本是:
而纯 ReAct 的总成本是:
其中 是每步 inline thinking 成本。关键不等式:当 时,Plan-and-Execute 优于 ReAct。即当子目标数足够多、提前规划节约的每步思考超过规划本身的成本时,分层决策胜出。
这给出了 Plan-and-Execute 何时有效的清晰判据:子目标数 越大、每步 inline thinking 越贵,Plan-and-Execute 优势越大。在 SWE-bench 风格的代码任务上, 通常 5-15,这一条件几乎总是成立;在简单 QA 任务上, 通常 1-3,ReAct 反而更直接。
什么算"好的规划"?我们区分三个维度:
这三个维度的量化度量可以通过 LLM-as-judge 加监督信号得到。我们发现,完备性对最终性能的影响最大——若规划遗漏关键子目标,即使每个子目标都正确执行,任务也失败。工程实践:在规划后强制让 LLM 列出"还需要哪些子目标以满足用户完整需求",作为完备性检查的 cheap 后置验证。
Plan-and-Execute 的一个强化变体是动态重规划(dynamic re-planning):执行阶段发现某子目标失败,触发重新规划,生成新子目标序列。从预算视角看,这是预算回收与再分配——把已消耗在执行失败子目标上的预算回收,转投到新规划。
动态重规划的总成本是:
其中 是重规划次数。最优动态重规划频次由"重规划成本 vs 错误执行成本"权衡;当子目标执行昂贵(如调用昂贵 API)、失败代价高时,频繁重规划反而更好。
这一观察对 Agent 框架设计有直接意义:不要预设固定规划策略。在任务难度高、子目标执行昂贵的场景下,配置动态重规划;在任务简单、子目标执行便宜的场景下,固定 Plan-and-Execute 即可。
把 ReAct、Reflexion、Plan-and-Execute 三个范式放入第 2.3 节的统一框架,会发现:
三者同构于"预算分配的不同拓扑"——ReAct 是预算完全 inline 的拓扑,Reflexion 是预算在时间维度上动态分配的拓扑,Plan-and-Execute 是预算在空间维度上结构性分配的拓扑。这三个拓扑不是互斥的,而是可叠加的:一个真实生产 Agent 通常既有时序反思(Reflexion),又有空间分层规划(Plan-and-Execute)。
我们提议把 Agent 训练目标明确写为:
其中 控制熵正则强度(等价于"early exit 倾向"), 控制预算惩罚强度(等价于"对算力成本的直接优化")。关键推论:当 且 时,该目标的优化结果自动涌现出"早期满意化"行为,无需显式 early exit 规则。
这一目标函数的优势在于:它同时训练了"何时停止"和"如何决策"。传统训练只优化 ,Agent 在推理时需要单独工程化停止准则;而本框架把停止决策作为内生部分,优化过程自然选择既满足预算又高奖励的策略。
实际场景中, 三重预算相互冲突:增大 让 Agent 能"记住"更多历史,但增大计算成本;增大 让 Agent 评估更多候选,但暴露 decision fatigue 风险。Pareto 前沿由 加权向量决定,实践中:
这一 Pareto 视角让"为不同场景选择不同 Agent 架构"不再是经验判断,而成为可形式化求解的多目标优化问题。
实践中,Agent 推理的 token 消耗是最大成本。从认知预算视角看,KV cache 复用等价于"把同一决策的预算分摊到多次调用"——这是"时间预算"维度的预算复用。Claude Sonnet / GPT-4o 等模型在 SystemPrompt 缓存上的优化,本质上是把"首次输入"的高成本分摊到后续多轮对话,显著降低边际成本。
工程建议:
不同任务对推理深度的需求差异巨大。基于认知预算框架,推荐的三条经验:
我们建议在生产 Agent 框架中,把两种范式组合使用:
实测显示,这一混合架构在 SWE-bench Verified 上达到 65%+ 成功率,显著优于纯 ReAct(~45%)和纯 Plan-and-Execute(~52%)。
为了保证 Agent 在预算约束下不溢出,可以在 prompt 中显式标注当前预算状态:
"你还有 2000 token,目前已思考 5 步,工具调用 7 次。请在剩余预算内完成任务。"
这一简单注入让 LLM 内生地调节决策粗度,等价于"动态 调节"。 实测显示,显式 budget 标注比隐式约束减少 30% 的超预算行为。
本文的"认知预算"与 Simon 1956 年的原始版本有以下重要差异:
这些差异让本文的框架在 LLM Agent 场景下更实用,但也偏离了 Simon 关于"人类认知架构约束"的原始主张。认知预算不是认知架构的约束,而是 Agent 运行时可优化的资源。
Russell & Norvig 1995 年提出的 bounded-optimality 概念与本文的有限理性框架有相似之处,但关键差异是:bounded-optimality 关注"在给定计算约束下最优",而本文关注"如何最优地分配约束"。前者是约束下的优化,后者是约束分配本身的优化。
这三个局限是未来工作的方向,我们相信它们可以在当前框架基础上扩展,但需要新的形式化技巧。
# 认知预算最优 Agent 决策循环(伪代码)
def agent_decide_loop(state, budget, model):
cost_used = {"T": 0, "M": 0, "A": 0}
while cost_used["T"] < budget.T:
# 1. 评估当前决策是否已"满意"
current_value = model.evaluate(state)
upper_bound = model.estimate_upper_bound(state)
gap = upper_bound - current_value
# 2. 计算是否值得继续的成本-收益
cont_cost = model.estimate_next_step_cost(state)
finding_prob = model.estimate_find_better(state)
rho = (BETA * cont_cost) / max(finding_prob, 1e-6)
# 3. 满足任意停止条件则退出
if gap < rho or cost_used["M"] > budget.M or cost_used["A"] > budget.A:
break
# 4. 否则思考/反思/执行
action = model.think_and_act(state)
state = state.transition(action)
cost_used["T"] += action.cost_T
cost_used["M"] += action.cost_M
cost_used["A"] += 1
# 5. 反思决策(可选)
if action.failed and not_reflection_too_expensive(cost_used, budget):
reflection = model.reflect(state, action)
state = state.with_context(reflection)
return state
最大熵 RL 框架下的策略可以表示为:
其中 是归一化常数,。当 ,策略退化为贪婪;当 ,策略退化为均匀分布。把 与预算约束配对, 越大等价于"剩余预算越紧张",这一对应关系让 RL 训练与工程预算控制统一在同一组超参数下。
本文不直接套用任何 RL 库的实现,因为 LLM Agent 的状态空间、动作空间都远大于传统 RL,实际工程中需要做大量近似。但形式化框架为近似方向提供了清晰指引。
Conversation
0 条