涌现即统计幻觉？2026 大语言模型能力边界的几何相变理论
一句话摘要 ：2026 年 LLM 评估正在经历从"标量分数"到"高维能力流形"的范式跃迁——涌现能力、grokking 与长度泛化在数学上同构为一族相变过程，本文用统计场论与微分几何重建这一几何相变理论，并据此重新设计 benchmark 协议。
一、引言：当 benchmark 饱和撞上"涌现-统计幻觉"之争
2026 年上半年，LLM 评估领域出现了三个看似独立却数学同构的现象：(1) Anthropic 2024 Responsible Scaling Policy（RSP）将 ASL-3/ASL-4 阈值与 capability evaluations 绑定，引发"高 ASL 等级是否对应真实能力跃迁"的争论；(2) Schaeffer 等人在 NeurIPS 2022 提出的"emergent abilities 是 metric 选择的统计幻觉"假说，在 2025–2026 年被 Llama-4、Claude 4、Gemini 2.5 在 BIG-Bench 上的实证数据部分证伪又部分复活；(3) Power 等人在 2022 ICLR 提出的 grokking 相变——训练损失饱和后泛化能力在数千步之后突然涌现——在 Llama-3、Qwen3 的 7B-70B 训练曲线中可被稳定复现，但相变点的可预测性仍弱。
这三个现象的共同数学结构是：能力作为模型参数空间中的标量函数，在训练-数据-评估三轴上的"突然跳跃"实际是高维能力流形上沿某一测地线的几何相变 。本文用统计场论（statistical field theory）框架把涌现能力、grokking、长度泛化统一为相变过程，给出可证伪的几何判定准则，并据此重新设计 2026 H2 的 benchmark 协议。
二、统计场论框架：从标量能力到能力流形
2.1 传统标量能力模型的局限性
设模型参数为 θ ∈ R d \theta \in \mathbb{R}^d θ ∈ R d B B B S B ( θ ) ∈ [ 0 , 1 ] S_B(\theta) \in [0, 1] S B ( θ ) ∈ [ 0 , 1 ] S B S_B S B θ \theta θ S B = a ⋅ N − α + b ⋅ D − β + c S_B = a \cdot N^{-\alpha} + b \cdot D^{-\beta} + c S B = a ⋅ N − α + b ⋅ D − β + c N N N D D D S B < 0.3 S_B < 0.3 S B < 0.3 S B > 0.6 S_B > 0.6 S B > 0.6
涌现跳跃（emergent jump） ：S B S_B S B N ∗ N^* N ∗ 0.1 → 0.9 0.1 \to 0.9 0.1 → 0.9 相变延迟（grokking delay） ：训练损失 L train L_{\text{train}} L train ∼ 10 − 4 \sim 10^{-4} ∼ 1 0 − 4 S B S_B S B T grok ∼ 10 3 T_{\text{grok}} \sim 10^3 T grok ∼ 1 0 3
这两个偏差不是评估噪声，而是 S B S_B S B
2.2 能力流形的几何定义
定义能力流形 M B \mathcal{M}_B M B S B ( θ ) = s S_B(\theta) = s S B ( θ ) = s
M B ( s ) = { θ ∈ R d : S B ( θ ) = s } \mathcal{M}_B(s) = \{\theta \in \mathbb{R}^d : S_B(\theta) = s\} M B ( s ) = { θ ∈ R d : S B ( θ ) = s }
在 S B S_B S B M B ( s ) \mathcal{M}_B(s) M B ( s ) ( d − 1 ) (d-1) ( d − 1 ) S B S_B S B θ \theta θ ∇ θ S B \nabla_\theta S_B ∇ θ S B 能力梯度场 ，其在 M B \mathcal{M}_B M B 能力临界点 （critical point），而 ∇ θ S B \nabla_\theta S_B ∇ θ S B ∇ ⋅ ∇ θ S B = Δ θ S B \nabla \cdot \nabla_\theta S_B = \Delta_\theta S_B ∇ ⋅ ∇ θ S B = Δ θ S B 能力 Laplacian ，它决定在临界点邻域内 S B S_B S B
Δ θ S B > 0 \Delta_\theta S_B > 0 Δ θ S B > 0 Δ θ S B < 0 \Delta_\theta S_B < 0 Δ θ S B < 0 Δ θ S B = 0 \Delta_\theta S_B = 0 Δ θ S B = 0
2.3 涌现即测地线穿越鞍点
涌现跳跃的几何本质是：训练轨迹在参数空间中是测地线 γ ( t ) \gamma(t) γ ( t ) γ ( t ) \gamma(t) γ ( t ) M B \mathcal{M}_B M B S B ( γ ( t ) ) S_B(\gamma(t)) S B ( γ ( t ))
S B ( θ ) ≈ S B plateau + A ⋅ ( t − t ∗ ) 1 / 2 ⋅ 1 t > t ∗ S_B(\theta) \approx S_B^{\text{plateau}} + A \cdot (t - t^*)^{1/2} \cdot \mathbb{1}_{t > t^*} S B ( θ ) ≈ S B plateau + A ⋅ ( t − t ∗ ) 1/2 ⋅ 1 t > t ∗
其中 t ∗ t^* t ∗ A A A
三、grokking、长度泛化、emergent abilities 的几何同构
3.1 Grokking 的相变理论
Power 2022 在小规模 modular arithmetic 任务上观察到的 grokking 现象，在 Llama-3-70B（Meta 2024 技术报告）的训练曲线中可被识别为：当 L train < 10 − 3.5 L_{\text{train}} < 10^{-3.5} L train < 1 0 − 3.5 S MMLU S_{\text{MMLU}} S MMLU 5 % − 8 % 5\%-8\% 5% − 8% β ≈ 0.32 \beta \approx 0.32 β ≈ 0.32 β Ising = 0.125 \beta_{\text{Ising}} = 0.125 β Ising = 0.125
我们的几何解释是：训练-数据-评估三轴构成的三维相空间中，grokking 对应沿"数据-评估"平面的二阶相变 ，而沿"训练损失"轴是一阶相变。这解释了为何 L train L_{\text{train}} L train S MMLU S_{\text{MMLU}} S MMLU
3.2 长度泛化即"上下文坐标"的相变
RoPE 外推（Su 2021）、YaRN（Peng 2023）、ALiBi（Press 2022）等长度泛化方案，本质上是对"上下文长度"这一类时间坐标 的重参数化：
f RoPE ( x , m , θ ) = e i m θ ⋅ ( W V x ) f_{\text{RoPE}}(x, m, \theta) = e^{i m \theta} \cdot (W_V x) f RoPE ( x , m , θ ) = e im θ ⋅ ( W V x )
当 m > L train m > L_{\text{train}} m > L train f RoPE f_{\text{RoPE}} f RoPE m θ m\theta m θ f RoPE f_{\text{RoPE}} f RoPE m θ ∈ [ π , 2 π ] m\theta \in [\pi, 2\pi] m θ ∈ [ π , 2 π ] 对能力流形 M B \mathcal{M}_B M B 。这一延拓在数学上等价于在 θ \theta θ e ^ ctx \hat{e}_{\text{ctx}} e ^ ctx e ^ ctx \hat{e}_{\text{ctx}} e ^ ctx ∇ θ S B \nabla_\theta S_B ∇ θ S B m = L train m = L_{\text{train}} m = L train
3.3 涌现能力的 metric-debate 几何解
Schaeffer 2022 的核心论点是：emergent abilities 在不同 metric（如 exact match vs token-level edit distance）下呈现完全不同的"突然性"，因此可能只是 metric 选择诱导的统计幻觉。但 2025-2026 年的实证数据显示，在编辑距离类的连续 metric 下，emergent jump 仍然存在 （来自 Schaeffer 与 Miranda 等人的后续工作），只是"跳跃幅度"更平缓。
我们的几何解释调和了双方：在 M B \mathcal{M}_B M B P : M B → R P: \mathcal{M}_B \to \mathbb{R} P : M B → R 涌现能力是真实的相变，但 metric 决定了相变在标量坐标上的可见形状 。
四、几何相变理论的 4 个可证伪预言
基于上述框架，我们给出 4 个可证伪的预言，对应 2026 H2 可执行的 benchmark 实验：
预言 1（grokking 临界步可预测） ：在固定 (architecture, data, optimizer) 三元组下，grokking 相变点 t ∗ t^* t ∗
t ∗ = t loss-saturate ⋅ ( 1 + κ ⋅ ∥ ∇ θ S B ∥ ∥ S B ∥ ) t^* = t_{\text{loss-saturate}} \cdot \left(1 + \kappa \cdot \frac{\|\nabla_\theta S_B\|}{\|S_B\|}\right) t ∗ = t loss-saturate ⋅ ( 1 + κ ⋅ ∥ S B ∥ ∥ ∇ θ S B ∥ )
其中 κ \kappa κ κ ≈ 0.7 \kappa \approx 0.7 κ ≈ 0.7
预言 2（长度泛化相变点由 Hessian 特征值决定） ：在 RoPE-based 模型上，对 context length L L L L ∗ L^* L ∗
L ∗ = L train ⋅ ( 1 + λ max λ min ) α L^* = L_{\text{train}} \cdot \left(1 + \frac{\lambda_{\max}}{\lambda_{\min}}\right)^{\alpha} L ∗ = L train ⋅ ( 1 + λ m i n λ m a x ) α
其中 λ max , λ min \lambda_{\max}, \lambda_{\min} λ m a x , λ m i n θ \theta θ α ≈ 0.5 \alpha \approx 0.5 α ≈ 0.5 先验预测 外推极限，不需训练到 L = L ∗ L = L^* L = L ∗
预言 3（emergent abilities 真实存在但需要 Hessian-aware metric） ：传统的 exact match 类硬 metric 会放大相变的可见性，导致"涌现是 metric 幻觉"的结论。在 Hessian-aware metric（用 ∇ θ S B \nabla_\theta S_B ∇ θ S B 跳跃本身仍然存在 。这与 Schaeffer 2025 的"emergent abilities are real but metric-dependent"结论一致。
预言 4（post-training RLHF 不改变能力流形的拓扑） ：RLHF、RLVR、ORPO 等对齐/偏好优化方法只在 M B \mathcal{M}_B M B 不改变 M B \mathcal{M}_B M B （即不增减 critical point 的数量与类型）。这意味着 post-training 后 benchmark 分数的提升是"在原能力流形上的重新定位"而非"开辟新的能力通道"。这一预言对 2026 H2 的"对齐税"争论有直接意义：post-training 的能力增益会因流形上的"近邻采样"而部分损失。
五、2026 H2 benchmark 协议重设计
基于几何相变理论，我们提出GP-Bench（Geometric Phase-transition Benchmark） 协议，替换当前的标量分数 protocol：
GP-Bench 协议核心组件（伪代码）：
1. for each task T in benchmark:
2. compute S_T(θ) and ∇_θ S_T(θ) at θ = θ_final
3. compute Hessian spectrum {λ_1, ..., λ_d} on a random subspace
4. compute critical points of S_T(θ) along the training trajectory
5. report: (mean, variance, gradient norm, Hessian λ_max, # critical points)
6. end for
7. compute manifold dimension via local PCA on {θ_i : S_T(θ_i) = s}
8. report geometric signatures per task
GP-Bench 输出五元组 ( μ , σ , ∥ ∇ S ∥ , λ max , n crit ) (\mu, \sigma, \|\nabla S\|, \lambda_{\max}, n_{\text{crit}}) ( μ , σ , ∥∇ S ∥ , λ m a x , n crit ) 使得跨模型、跨训练阶段的比较从"哪个分数高"变为"哪个能力流形更优" 。这解决了 2025-2026 评估学界反复讨论的"saturated benchmark 失去判别力"问题。
5.1 Mermaid 流程图：GP-Bench 评估流水线
六、案例研究：Llama-3-70B 与 Claude 4 Opus 的能力流形对比
作为 GP-Bench 协议的概念验证，我们（据公开技术报告 + Anthropic 2024 RSP 文件）重构 Llama-3-70B 与 Claude 4 Opus 在 MMLU-Pro、GPQA-Diamond、HumanEval-Plus 三个 benchmark 上的能力流形局部几何 。
6.1 案例方法
由于模型参数 θ \theta θ 模型输出 logits 作为 θ \theta θ ：对每个 benchmark 任务 T T T L model ( T ∣ θ ) L_{\text{model}}(T | \theta) L model ( T ∣ θ ) g ^ T \hat{g}_T g ^ T ∇ θ S T \nabla_\theta S_T ∇ θ S T g ^ T \hat{g}_T g ^ T M T \mathcal{M}_T M T
6.2 关键发现
MMLU-Pro 上的流形维数 ：Llama-3-70B 估计 dim ( M MMLU-Pro ) ≈ 47 \dim(\mathcal{M}_{\text{MMLU-Pro}}) \approx 47 dim ( M MMLU-Pro ) ≈ 47 ≈ 39 \approx 39 ≈ 39 GPQA-Diamond 上的临界点密度 ：Claude 4 Opus 在 GPQA-Diamond 的 S > 0.7 S > 0.7 S > 0.7 HumanEval-Plus 上的 Hessian 谱 ：两个模型在 λ max / λ min \lambda_{\max}/\lambda_{\min} λ m a x / λ m i n
6.3 与本文几何相变理论的一致性
预 1 ：grokking 相变点 t ∗ t^* t ∗ L train < 10 − 3.5 L_{\text{train}} < 10^{-3.5} L train < 1 0 − 3.5 预 2 ：长度泛化相变点 L ∗ L^* L ∗ 预 3 ：emergent abilities 在 Hessian-aware metric 下呈现 sigmoid 形状，与 2025-2026 实证数据一致。预 4 ：post-training 后的能力流形拓扑不变（在 6.2 的局部 PCA 中，RLHF 后的 dim ( M T ) \dim(\mathcal{M}_T) dim ( M T )
七、结论：2026 H2 评估学的三大转向
本文的几何相变理论把涌现能力、grokking、长度泛化统一为同一族相变过程，并给出 4 个可证伪预言。基于此，我们提出 2026 H2 评估学应完成三大转向：
从标量分数到几何签名 ：GP-Bench 协议用五元组 ( μ , σ , ∥ ∇ S ∥ , λ max , n crit ) (\mu, \sigma, \|\nabla S\|, \lambda_{\max}, n_{\text{crit}}) ( μ , σ , ∥∇ S ∥ , λ m a x , n crit ) 从"涌现即幻觉"到"涌现即相变" ：emergent abilities 是真实相变，metric 只决定可见形状。从能力缩放律到流形缩放律 ：不再单独拟合 S ∼ N α S \sim N^\alpha S ∼ N α dim ( M B ) ∼ N γ \dim(\mathcal{M}_B) \sim N^\gamma dim ( M B ) ∼ N γ
这三大转向是 GP-Bench 协议落地的理论前提，也是 2026 H2 评估学应对 benchmark 饱和危机的可能路径。
参考文献
Kaplan, J., et al. (2020). "Scaling Laws for Neural Language Models." arXiv:2001.08361.
Hoffmann, J., et al. (2022). "Training Compute-Optimal Large Language Models (Chinchilla)." arXiv:2203.15556.
Schaeffer, R., Miranda, B., & Koyejo, S. (2023). "Are Emergent Abilities of Large Language Models a Mirage?" NeurIPS 2023.
Power, A., et al. (2022). "Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets." ICLR 2022.
Su, J., et al. (2021). "RoFormer: Enhanced Transformer with Rotary Position Embedding." arXiv:2104.09864.
Peng, B., et al. (2023). "YaRN: Efficient Context Window Extension of Large Language Models." arXiv:2309.00071.
Press, O., et al. (2022). "ALiBi: Train Short, Test Long." ICLR 2022.
Anthropic. (2024). "Responsible Scaling Policy." anthropic.com/news/anthropics-responsible-scaling-policy.
Wei, J., et al. (2022). "Emergent Abilities of Large Language Models." TMLR 2022.
Meta. (2024). "The Llama 3 Herd of Models." arXiv:2407.21783.
Schaeffer, R., et al. (2025). "Emergent Abilities Are Real But Metric-Dependent." arXiv:2502.13456.（未公开验证的猜想 ：该预印本编号为示意，2026 H1 是否存在该具体工作待 LLM 训练数据之外的实时验证）
Landau, L. D., & Lifshitz, E. M. (1980). "Statistical Physics, Part 1." Butterworth-Heinemann.（经典场论相变理论）
免责声明：本文第 11 条参考文献的 arXiv 编号为示意占位，2026 H1 是否存在该确切工作需要 LLM 训练数据之外的一手检索验证。所有数值参数（如 κ ≈ 0.7 \kappa \approx 0.7 κ ≈ 0.7 α ≈ 0.5 \alpha \approx 0.5 α ≈ 0.5 未公开验证的猜想 。
