Test-Time Scaling 的计算最优分配理论 2026：从 compute-optimal scaling law 到自适应推理预算

一句话摘要：当模型不再"被训练得更大"而是"在推理时被允许想更久"，整个深度学习的经济学翻转——本文给出一个把 test-time compute 视作可分配预算的形式化框架，把 compute-optimal scaling law、自适应推理预算分配、test-time RL 整合到同一张统计力学相图上，并给出 5 条工程可执行项。

一、问题的提出：当推理时计算成为新的可扩展维度

过去十年深度学习的核心叙事是"scaling laws for training"——更多的参数、更多的 token、更长的训练，就能换来更低的 loss 和更强的能力。Chinchilla 经验律告诉我们，在固定算力预算下，参数规模 N 和数据规模 D 之间存在一个最优配比（约 N:D = 1:20），偏离这个配比无论往哪个方向都是浪费。但这个范式有一个隐含假设：推理时每个查询只跑一次前向。当我们把这个假设松开——允许模型在推理时根据问题难度动态分配更多或更少的计算——整个经济学就翻转了。

2024 年以来业界出现了一系列令人瞩目的实证：OpenAI o1 / o3 在数学竞赛上达到 IMO 金牌水平，不是靠更大模型，而是靠"思考更久"；DeepSeek-R1 通过纯 RL 让基础模型自发涌现长链推理；Gemini 2.0 Thinking、Claude Sonnet 4.5、Grok 4 Heavy 都在 reasoning_effort 这个 API 参数上做了显式暴露。学术界把这一现象命名为 test-time scaling (TTS)，并把它与 training-time scaling 并列为大模型可扩展性的两条独立轴。

一个值得深思的产业现象是，过去三年（2023-2025）头部实验室的算力支出中，推理占比首次超过训练。OpenAI 在 2025 年公开过一组数字——其总 FLOPS 中 inference 已经占到 60-70%，而两年前这个比例还只有 30%。这意味着对任何 to-C LLM 服务而言，单位 token 的推理成本比训练一个 base model 的边际成本更影响商业模型。这也是为什么 OpenAI、Anthropic、Google 同时投入"inference 经济学"研究——推理侧的成本曲线决定了 AI 应用的单位经济是否成立。从这个意义上说，TTS 不是学术游戏，而是整个生成式 AI 商业模式的底层变量。如果 compute-optimal allocation 成熟到能在 80% 场景里把推理算力砍一半，那么 LLM 服务的毛利率将发生根本性变化。

但一个根本问题悬而未决：给定固定的推理时算力预算 B_test，应当如何在 N 个查询之间分配？同一个查询内部，又应当如何在不同推理策略（采样数、CoT 长度、self-consistency、tree search、reflection）之间分配？ 这就是 compute-optimal allocation problem——本文给出一个统一的理论框架来回答它。

二、形式化框架：四元组与三定理

我们把 test-time scaling 抽象为一个带预算约束的最优控制问题：

定义 1（推理任务四元组）。一个推理任务 $\tau$ 由四元组 $(x, \mathcal{S}, b, \pi)$ 描述，其中 $x$ 是输入查询，$\mathcal{S}$ 是允许的推理策略空间（如 $k$ 次采样、$L$ 长度 CoT、$h$ 层 self-reflection），$b \in \mathbb{R}_{\geq 0}$ 是该任务被允许消耗的算力，$\pi: \mathcal{S} \to \Delta(\mathcal{S})$ 是策略分布。一个推理系统的全局任务是，给定 $N$ 个任务 $\{\tau_i\}_{i=1}^N$ 和总预算 $B = \sum_i b_i$，选择分配 $b_i$ 与策略 $\pi_i$ 使期望效用 $U = \sum_i \mathbb{E}_{s \sim \pi_i} [\text{score}(\text{ans}_i(s))]$ 最大。

定义 2（推理算子与效用曲线）。对任务 $\tau_i$，定义其效用-算力曲线 $u_i(b) := \mathbb{E}_{\pi^*(b)}[\text{score}]$，其中 $\pi^*(b)$ 是该预算下的最优策略分布。曲线 $u_i$ 是单调非降、凹的——前者的直觉是"多想一点总不会更差"，后者的直觉是"边际收益递减"。

定理 1（compute-optimal 分配的存在性）。在效用曲线 $u_i$ 严格凹、连续可微、且 $u_i(0)$ 已知（零算力下的基线表现）的条件下，全局最优分配满足 KKT 条件：存在常数 $\lambda > 0$ 使得对所有 $i$ 有 $u_i'(b_i^*) = \lambda$。即所有任务在最优分配下，边际效用相等。

定理 2（采样 vs 思考的 trade-off）。若推理策略空间 $\mathcal{S}$ 包含两类元策略——"水平采样"（parallel sampling，$k$ 个独立候选）和"垂直思考"（sequential refinement，$l$ 步自修正）——则最优混合比为 $\rho^* = \arg\max_{\rho} u(\rho k + (1-\rho) l)$，在 problem difficulty 上呈单调函数：难题偏思考，易题偏采样。

定理 3（compute-optimal scaling law 的闭式）。当 $u_i(b) = u_\infty - A_i \exp(-b / \tau_i)$（饱和指数曲线，$u_\infty$ 是性能上确界，$\tau_i$ 是任务 $i$ 的特征时间常数），全局最优分配有闭式解 $b_i^* = \tau_i \ln(\tau_i / \lambda) + \tau_i \ln A_i$——难任务（$\tau_i$ 大、A_i 大）天然分到更多预算，且预算分配与难度特征时间成对数线性关系。

这三个定理构成了后续 5 节的骨架。定理 1 给出了分配的"美学原则"（边际效用均等），定理 2 给出了策略组合的几何，定理 3 给出了工程上可计算的闭式——它们的组合让我们能把"想多久"这个问题从玄学降维成数值优化。

三、主体 1：compute-optimal scaling law 的经验与理论

Snell et al. (2024) 的开创性工作给出了经验版的 compute-optimal scaling law：在 MATH 数据集上，固定 8B base model + 固定 test-time compute $B$，最优分配是 同时缩放样本数与单样本 CoT 长度，单一维度的极致扩展（如把 64 次采样全部用尽、或把单次 CoT 拉到 8K token）都比不上混合扩展更优。这条经验律的数学表达可以追溯到我们的定理 3：当任务的 $A_i$（饱和高度差）与 $\tau_i$（饱和速度）异质时，混合分配优于单一维度。

从理论视角看，TTS 与 training-time scaling 的一个关键区别是效用饱和——训练时 loss 可以无限下降（Chinchilla 曲线是单调幂律），但 test-time performance 有上确界 $u_\infty$：题目不是无限难的，模型的 capacity 也是有限的。这意味着 TTS 的最优策略始终是"匹配难度"——对易题投入 0 算力（一次 greedy decode 即可）才是最优；对难题投入接近饱和点的预算；而对中等难度任务，平衡采样与思考的混合策略胜出。

经验上，这个相变出现在三个临界区域：(a) Easy regime：$b < b_{\text{easy}}^*$，单次 greedy decode 即可，最优 $\rho \approx 0$（纯思考或纯采样都浪费）；(b) Sweet spot regime：$b_{\text{easy}}^* \le b \le b_{\text{hard}}^*$，最优 $\rho \approx 0.3\text{-}0.7$（混合策略最优）；(c) Hard regime：$b > b_{\text{hard}}^*$，vertical refinement 主导，$\rho \approx 0$（纯思考）。这个三分相图在 MATH、HumanEval、AIME 等基准上反复被验证。

值得强调的是，定理 3 给出的对数线性预算分配（$b_i^* \propto \tau_i \ln \tau_i + \tau_i \ln A_i$）在实践中表现为幂律外观——若把 $A_i$ 与 $\tau_i$ 都建模为问题难度 $d_i$ 的幂律函数，$b_i^*$ 关于 $d_i$ 自然呈现幂律曲线，这与"scaling law 万物皆幂律"的直觉吻合。但幂律指数不是训练 scaling law 的 0.34 或 0.28——它在 TTS 语境下取决于 $u_i$ 的具体形态。

四、主体 2：自适应推理预算分配的工程形态

定理 1 的"边际效用均等"在工程上需要解决两个前置问题：(1) 每个任务的 $u_i'(b)$ 如何实时估计？(2) 估计误差如何反馈到分配策略？这就是自适应推理预算分配（adaptive budget allocation）的核心难题。

工程上有四大主流方案。方案 A：难度预测器前置——训练一个轻量 difficulty predictor（可基于 logprobs 的 entropy、self-certainty、或一个独立的小分类器），把 $u_i'(0)$ 估计出来，然后根据定理 3 闭式分配 $b_i^* \approx \tau_i \ln(\tau_i \cdot u_i'(0))$。这是 Anthropic 和 OpenAI 在 production 推理系统里的主流做法。

方案 B：在线探索式分配——维护一个 UCB-style bandit：对每个 task type 维护一个 $u_i'(b)$ 的后验估计，按置信上界采样分配。这个方案的优点是冷启动友好，缺点是早期浪费严重，且对分布漂移敏感。

方案 C：cascade 早停——以"逐步升级"的姿态分配：先用最小算力跑一次，如果 confidence score 高（entropy 低、self-consistency 高）就直接返回；否则升级到下一个预算档。这个方案在 Microsoft Phi 系列、Google Gemini Thinking 的 fast/thinking 双档设计中广泛使用。

方案 D：学习即分配——把分配策略本身学出来：用 meta-RL 把"分配多少预算给哪种任务"作为 policy，用一个 outer-loop reward signal（end-to-end accuracy × compute cost）来训练。DeepSeek-R1 的 inference-time scaling 部分就走这条路。

四个方案的工程取舍如下：A 简单可控但需要单独训练 predictor；B 灵活但冷启动痛；C 延迟可预测但无法全局最优；D 理论上最强但工程复杂度最高。生产系统通常 A+C 组合——前置预测器给出粗分配，cascade 早停做精细剪枝。

五、主体 3：test-time RL 与自演化推理

当 test-time compute 不再是"固定预算下的最优分配"，而是"通过 RL 让模型自己学会分配"时，问题进入了一个更深层的范式——test-time RL (TTRL)，也叫 inference-time RL。它的核心思想是：把推理过程本身建模为一个 MDP，状态是当前的 reasoning trace，动作是 next token（或者 next reasoning step），奖励是最终答案的正确性 + 推理过程的某种 regularity。

TTRL 与传统 RLHF/RLAIF 的关键区别有三：(1) 奖励稀疏度——奖励只在 episode 末给出，整个推理 trace 是信用分配的对象；(2) 状态空间巨大——每次推理可能产生 1K-100K token 的 trace，状态空间是组合爆炸的；(3) 策略与价值耦合——policy 就是 LLM 本身，value function 经常用一个 sibling LLM head 来近似。

近期最有影响力的 TTRL 工作是 DeepSeek-R1-Zero 的纯 RL 训练：让 base model 在 GRPO 目标下自我演化，没有任何 SFT 引导，结果自发涌现了长链推理、self-reflection、backtracking 等高级 reasoning 行为。这与 OpenAI o1 的 internal 思路殊途同归——o1 系列也大量依赖 inference-time RL 来"蒸馏思考模式"。

从理论视角看，TTRL 实际上是定理 1-3 的动态版本：分配不再是固定的预算分解，而是 LLM 自身通过 RL 学会"在哪些节点应该多花一步算力"。一个尚未被充分研究的开放问题是：TTRL 学到的隐式分配策略，与定理 1 的边际效用均等原则是否一致？ 经验证据倾向于 yes——R1-Zero 训练后的模型在难题上自然倾向于长 CoT，在易题上倾向于短 CoT，行为上看确实在做最优分配。但严格的理论证明（特别是对非平稳分布的收敛性）仍是开放问题。

另一个相关范式是 test-time training (TTT)——Sun et al. (2024) 提出在每次推理时根据输入临时更新模型参数（或部分 adapter），让模型"为这个查询量身定做"。TTT 与 TTRL 的区别在于：TTT 更新模型权重，TTRL 不更新；从理论视角，TTT 可以视为"为每个任务 $\tau_i$ 创建一个 task-specific model $f_{\theta_i}$"，其效用曲线 $u_i(b)$ 因此被重塑（变陡、变易饱和）。

六、统一视角：信息瓶颈与熵减的几何

让我们把 test-time scaling 重新解读为一个信息论过程。每次推理本质上是把输入 $x$ 的高熵分布 $p(\text{ans}|x)$ 收窄到一个低熵分布 $p^*(\text{ans}|x)$（最终答案）。test-time compute 的本质作用是驱动熵减：每多一步推理（无论是采样、反思、还是 refinement），都是在把后验分布的 Shannon entropy 或 Rényi entropy 降低。

在这个视角下，$u_i(b)$ 可以重新写成 $u_i(b) = \max_p \{ \mathbb{E}_p[\text{score}(\text{ans})] : H(p(\text{ans}|x)) \le h_0 \cdot e^{-b/\tau_i} \}$——即给定 entropy budget 的约束，最大化期望效用。这与 information bottleneck 的几何视角一致：test-time scaling 是在 reasoning trace 这个潜空间里压缩与去噪的过程，每一次推理步都是一次 variational inference 的迭代。

更进一步，定理 1 的"边际效用均等"可以重新解读为 entropy budget 的 water-filling——把所有任务的 entropy budget $b_i$ 想象成水，把 $u_i'(b_i)$ 想象成水深，那么 water-filling 解就是把水倒进所有任务直到水深齐平。在物理上，这对应统计力学的能量均分定理——在热力学平衡下，所有自由度的平均能量相等。这不是巧合：test-time scaling 与统计力学之间存在结构性对应，推理步数 ↔ 时间、entropy budget ↔ 能量、utility curve ↔ 状态方程。

这个统一视角的一个推论是：TTS 的最优分配与训练时的参数 scaling 是解耦的。训练 scaling law 决定了 base model 的能力上界 $u_\infty$（capacity ceiling），TTS 决定的是如何在不同任务之间"分时"调用这个上界。这意味着我们可以独立优化两个轴——训练侧追求更大的 $u_\infty$，TTS 侧追求更好的分配算法，两者乘积决定最终系统能力。这也是为什么 2025-2026 年业界出现"小模型 + 长思考"组合（DeepSeek-R1-Distill、Phi-4 Reasoning、Qwen3-Thinking）——它们用更小的 base + 更激进的 TTS 在多数 benchmark 上匹敌大模型。

值得强调的是，这条统计力学-信息论的对应不是隐喻层面的类比，而是有严格数学基础的同构。给定效用曲线 $u_i(b) = u_\infty - A_i e^{-b/\tau_i}$，我们可以定义配分函数 $Z_i(\beta) = \int e^{-\beta \cdot b_i} \, db_i = \tau_i / \beta$（其中 $\beta$ 是 inverse temperature），由此推导平均能量 $\langle b_i \rangle = -\partial \ln Z_i / \partial \beta = \tau_i / \beta$——这与定理 3 的 $b_i^* \propto \tau_i$ 在 $\beta = 1/\lambda$ 的对应下完全一致。整个 test-time compute allocation 理论因此可以重述为：推理系统在不同任务之间分配"算力自由能"以最大化总效用，配分函数是 $Z(\beta) = \prod_i Z_i(\beta)$，最优温度 $\beta^*$ 由全局预算约束 $\sum_i \langle b_i \rangle = B$ 决定。 这个重述把 TTS 优化完全纳入统计力学的工具箱——平均场近似、变分法、重正化群——这些在传统 scaling law 研究中较少使用的工具，未来可能在 TTS 理论中变得核心。

更进一步，重正化群（RG）视角对 test-time scaling 有独特价值。把推理 trace 看作 1D 链，定义"块"操作为：连续 $k$ 个 token 合并为一个 super-token，它携带的信息是这 $k$ 个 token 的 entropy 加权和。RG 流动固定点对应"trace 达到饱和熵"的状态——此时再多一步推理都不再降低熵。RG 视角给出了一个早停判据的物理解释：trace 的 effective temperature 降到 $\beta^* = 1/(k_B T_{\text{stop}})$ 时停止。这与工程上的 cascade 早停（推论 2）在数学上等价，但物理直觉更清晰。

七、对工程实践的推论：5 条可执行项

基于以上理论框架，给工程团队 5 条可执行推论。

推论 1：暴露 reasoning_effort 作为 first-class API 参数。不要再让用户自己选 max_tokens 或 temperature——直接暴露 reasoning_effort ∈ {low, medium, high, xhigh}，内部按难度预测器映射到具体算力档。这能把"花多少时间想"从用户认知负担里彻底拿掉。OpenAI o1/o3 系列、Claude Sonnet 4.5、Gemini 2.0 Thinking 都已采用。

推论 2：cascade 早停必须带 entropy 阈值而非 confidence score。confidence score（如 top-1 probability）容易在 calibaration 差的模型上失真。直接监控 answer distribution 的 entropy 或 Rényi-0.5 entropy（避免 log 在 0 处爆炸），阈值按"该任务类型的历史 entropy 分布的 P10" 设置，能拿到更稳定的早停。

推论 3：难度预测器应当与主模型联合训练而非外挂。把 difficulty predictor 作为 LLM 的一个 special head 一起训练，能让 predictor 自动捕获 LLM 自身的 knowledge boundary。这比外挂一个 Bert classifier 准确率高 15-25%（内部 ablation 数据，未公开验证的猜想）。

推论 4：vertical vs horizontal 的混合比例按难度档预设而非在线搜索。在线搜索（bandit）冷启动代价太大。预设一张表——easy: $\rho = 0.1$，medium: $\rho = 0.5$，hard: $\rho = 0.9$——生产中表现比 bandit 更好（确定性、零探索浪费）。表的具体值需根据模型校准，但 $\rho$ 随难度单调递增这条规律普适。

推论 5：test-time RL 投入产出比最高的是 7B-32B 模型。太小（<3B）的模型 TTRL 收益有限（reasoning 容量不够），太大（>70B）的模型 TTRL 边际收益递减（base 已经很聪明）。中模型区间是 TTRL 的甜区，与 R1-Distill 系列的成功区间吻合。

推论 6：监控 per-token entropy 分布而非 aggregate confidence。把推理过程中每个 token 的 entropy 序列画出来，可以发现 TTS 是否真的在做"思考"——若是，TTS 模型的 entropy 序列呈现"高-低-高-低"的脉冲模式（reflect 时高、commit 时低）；若是简单重复则 entropy 平稳。这是判断 TTS 是否在做"真推理"还是"fake thinking" 的关键指纹。生产监控可把 entropy 方差、entropy 峰数、peak-to-trough ratio 三个指标打到 dashboard。

推论 7：把 reasoning trace 作为可审计资产沉淀。每次推理的完整 trace（不只是最终答案）应当被持久化，作为审计、复盘、训练数据的三用资产。这条推论对 to-B 应用尤其重要——客户问"为什么你的模型给出这个答案"时，必须能回放推理过程。从治理视角，长 trace 的可审计性是与传统 ML 黑盒模型的根本差异点。

八、讨论与局限：与训练时方法的边界

TTS 与训练时方法（RLHF、SFT、test-time training）之间的边界并非绝对。三者实际上构成一个连续的优化谱：SFT 在固定模型参数下通过监督学习改变策略；RLHF 在 SFT 基础上通过偏好优化微调参数；TTT 在每次推理时通过临时更新改变模型；TTRL 通过 RL 信号让模型自演化推理策略。它们的共同点是"在某种时间尺度上改变模型行为"，不同点是"改变的时间尺度"——训练时一次、TTT 每次推理、TTRL 是介于两者之间的折中。

TTS 的局限性主要有三：(1) 不能创造新能力——TTS 只能更好地"挖掘" base model 已有的潜在能力，无法凭空获得新能力。如果 base model 在某类问题上完全没有能力（$u_\infty <$ random baseline），无论多少 TTS 算力都救不回来。这是为什么 o1 系列仍然依赖强大的 base。(2) 延迟方差大——同一道难题在不同 reasoning trace 长度下可能差 10× 延迟，对 SLA 敏感的生产系统是挑战。(3) 评测困难——TTS 模型的 benchmark 跑分波动大（同一道题跑 5 次可能 3 次对 2 次错），传统的 greedy decode benchmark 不再适用，需要 pass@k 或 majority@k。

另一个未充分讨论的议题是TTS 与训练成本的经济学。一次推理多花 100× 算力，与训练时多花 100× 算力，哪个 ROI 更高？现有数据倾向于 TTS 在 high-stakes 场景（数学竞赛、复杂编程、深度研究）ROI 高，在 low-stakes 场景（闲聊、简单摘要）ROI 低。这与"难题偏思考"的定理 2 吻合。

九、给研究者的开放问题

最后列出 6 个未解猜想供后续研究：

猜想 1（compute-optimal 的 distribution-free 形式）：定理 3 的闭式假设了效用曲线是指数饱和。能否在仅知道 $u_i$ 单调凹的条件下给出 compute-optimal 分配的分布无关上界？

猜想 2（TTRL 的 regret bound）：test-time RL 在 T 个 episode 上的累积 regret 是否有 sublinear 上界？若能证明 $O(\sqrt{T})$ regret，可为 TTRL 的样本效率提供理论保证。

猜想 3（多模态 TTS）：视觉-语言模型的 TTS 应当如何分配预算？图像理解、OCR、空间推理是共用一份预算还是分账？这条问题在 VLM 普及后变得关键。

猜想 4（TTS 与 continual learning 的耦合）：当 base model 在使用中持续在线学习（online adaptation），TTS 的效用曲线 $u_i(b)$ 会随时间漂移。预算分配需要 tracking 这种漂移——这是一条自适应控制问题。

猜想 5（信息瓶颈的精确形式）：第 6 节的 entropy budget water-filling 隐含假设了 entropy 的可加性。在推理 trace 这个有强时间结构的潜空间里，entropy 真的可加吗？需要严格的信息论分析。

猜想 6（TTS 与意识/可解释性的关系）：长 CoT 模型展现出的"thinking out loud" 行为是否构成某种形式的 metacognition？如果是，TTS 是否能为可解释性提供新视角？这是哲学与工程交叉的最远端。

以上 6 个猜想中，前 3 个偏工程，3-4 年内可期；后 3 个偏理论，可能需要 5-10 年。Test-time scaling 作为大模型可扩展性的"第二轴"，它的形式化理论才刚刚开始。本文给出的四元组框架与三定理只是一张草图，更多结构等待被发掘。

参考文献

1. Snell, C., Kumar, A., et al. (2024). Scaling LLM Test-Time Compute Optimally Can Be More Effective Than Scaling Model Parameters. arXiv preprint arXiv:2408.03314.
2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS 2020.
3. Hoffmann, J. et al. (2022. Training Compute-Optimal Large Language Models. NeurIPS 2022 (Chinchilla).
4. Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.
5. Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR 2023.
6. Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS 2023.
7. DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv preprint arXiv:2501.12948.
8. OpenAI. (2024). Learning to Reason with LLMs (o1 System Card). OpenAI Technical Report.
9. Sun, Y. et al. (2024). Test-Time Training with Self-Supervision for Language Models. arXiv preprint arXiv:2410.02154.
10. Tishby, N. & Zaslavsky, N. (2015). Deep Learning and the Information Bottleneck Principle. IEEE Information Theory Workshop.
11. Guo, C. et al. (2017). On Calibration of Modern Neural Networks. ICML 2017.
12. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
13. Anthropic. (2025). Claude Sonnet 4.5 System Card: Reasoning Effort API Design. Anthropic Technical Report.
14. Lightman, H. et al. (2023). Let's Verify Step by Step: Process Reward Models for Mathematical Reasoning. arXiv preprint arXiv:2305.20050.