重整化群视角下的大模型训练动力学 2026
从凝聚态物理借来 Wilson 的重整化群算子,把预训练粗粒化、SFT/DPO 微扰展开、test-time compute 反向重正化、reward hacking 临界现象串成统一视角,给出七条工程推论与三个待验证猜想。
约 29 分钟阅读8,628 字14 次阅读博主
从凝聚态物理借来 Wilson 的重整化群算子,把预训练粗粒化、SFT/DPO 微扰展开、test-time compute 反向重正化、reward hacking 临界现象串成统一视角,给出七条工程推论与三个待验证猜想。
大语言模型的训练是一个跨度惊人的多尺度过程。从数十亿 token 的预训练，到数十万条指令的监督微调，再到数万条偏好对的强化学习对齐，三个阶段的数据量差异超过 10⁶ 倍，优化的目标函数也完全不同——前一个阶段是 next-token 的交叉熵，后一个阶段是策略梯度的期望回报。但工程师们已经习惯把这三个阶段串成一个 pipeline：预训练 → SFT → DPO/GRPO，且大多能稳定收敛。这种"跨尺度可优化性"在传统机器学习里几乎是不可想象的——一个在 ImageNet 上训练好的 ResNet，你几乎不可能用 1000 张医学影像再做一次完整训练而不灾难性遗忘。
最近几篇 evening 时段的理论文章已经分别从不同角度切入了这个问题：id=453 的《涌现能力的相变标度律》把预训练阶段描述为有限尺寸标度到临界指数的跃迁；id=428 的《知识蒸馏与模型合并的黎曼几何》把 SFT/DPO 视为不同 loss landscape 上的流形拼接；id=402 的《偏好对齐的公理化重建》从对偶性给出了 DPO/GRPO 的形式基础。但这些理论各自解释了训练的一个侧面：相变理论解释了"为什么有涌现"，黎曼几何解释了"为什么能拼接"，公理化解释了"为什么 DPO 等价"。它们彼此并不矛盾，但也没有统一。
本文要问的是另一个层面：为什么这三个阶段能在同一个参数空间里连续优化而不错乱？这个问题的标准物理答案早在 1970 年代就给出了——重整化群（Renormalization Group, RG）。Wilson 和 Kadanoff 在凝聚态物理中发展出一套关于"积分掉细节层"的算子语言：当你把一个高分辨率的物理系统降到低分辨率时，系统的耦合常数会沿一条轨迹演化，这条轨迹就叫 RG flow。当这条 flow 收敛到一个不动点，系统就表现出尺度不变性，相关长度 ξ 发散，就是临界现象。我们的猜想是：大模型训练本质上是一个多尺度的 RG flow——预训练走完 coarse-graining 的"粗化过程"，SFT/DPO 在预训练留下的不动点附近做微扰重正化，test-time compute 则是反向的"细粒度还原"操作。如果这个猜想成立，那么大模型训练中那些看起来神秘的现象——curriculum 的有效性、LoRA 适配器的惊人表现、KL 惩罚为何能防止 reward hacking、test-time compute 的最优分配曲线——都能在 RG 语言里找到统一的解释。
需要预先声明的是：本文的 RG 视角目前仍是启发式类比而非严格推导。和凝聚态物理不同，LLM 没有清晰的"格点"和"截断尺度 Λ"，相关长度 ξ 的严格定义尚无共识。但启发式类比的价值在于它能给出可证伪的预测——本文第七节会给出七条工程推论，每一条都是"如果 RG 视角对，那么应该观察到 X"的实验预言，第九节会给出三个未解问题的实验设计。
在 Wilson 形式里，RG 是一个算子 R_b，它把哈密顿量 H 在尺度 b 下"粗粒化"：H' = R_b(H)。如果我们对一个 N 维伊辛模型做 block-spin 重正化，把 b×b 的格点合并成一个有效自旋，系统的耦合常数 K = (K₁, K₂, ..., K_M) 会沿一个非线性流 K → K' = F(K) 演化。这里 b > 1 是粗粒化倍率，Λ → Λ/b 是 UV 截断的下移。
RG flow 在参数空间里画出轨迹。沿着这条轨迹流动，不动点（fixed point）是满足 K* = F(K*) 的特殊配置——它意味着这个尺度下的物理和粗粒化后的物理统计上不可区分。当不动点存在时，系统呈现尺度不变性：放大或缩小观察尺度都看不到新的结构。相关长度 ξ 是衡量"多远才算远"的特征尺度——在不动点附近 ξ 可以发散到无穷，对应临界现象：所有尺度都同样重要，所有物理量都遵循幂律。
把这一图像搬到 LLM 上，我们做如下类比。预训练对应的不是"低分辨率"，而是"高分辨率"——它要在最细的 token 粒度上学到最丰富的细节。RG 算子 R_b 在这里对应信息瓶颈——任何强制压缩 token 表示的操作，从低秩投影 LoRA 到知识蒸馏的 teacher model，都是某种 R_b。参数空间 K 就是神经网络权重的全部配置——但 LLM 的 K 不是 M 维而是 10⁹ 维，所以传统 RG 的"有限维流形"图像要扩展到"高维流形上的稀疏有效子空间"。这个子空间就是当下大模型可解释性研究的对象——稀疏自编码器（SAE）、task vector、内在维度，都是在尝试刻画这个有效子空间的几何。
不动点在 LLM 里对应什么？一个候选答案是：预训练收敛点本身就是近似不动点——再做一轮预训练和不做一轮预训练，模型的输出分布几乎不变（loss 稳定在一个 plateau）。这个 plateau 上，模型已经"学到了一切可学的东西"，fine-tuning 只能在这个 plateau 上小幅调整。这个 image 解释了为什么 SFT 不能"教会"模型新事实，只能调整它的行为——因为新事实超出了不动点的有效子空间。
临界现象在 LLM 里对应什么？涌现能力就是临界现象：相关长度 ξ 在某些任务上恰好等于或超过任务所需的"上下文窗口"，于是模型在那个尺度上突然解锁了能力。id=453 的相变标度律描述的就是这个 ξ 的有限尺寸标度行为。RG 提供的是这个标度行为的动力学解释——为什么 ξ 会沿训练步骤单调增长。
把 RG 算子搬到 LLM 训练上，最自然的对应是：交叉熵损失 = 有效作用量 S[φ]。在凝聚态物理里，配分函数 Z = Σ exp(-S[φ]) 控制所有热力学量，而 S[φ] 通常写成 φ⁴、φ² 等局部算子的线性组合。把 LLM 的 cross-entropy loss 展开：
L_CE = -E[log p_θ(x_{t+1} | x_{≤t})]
如果把 θ 视为场配置 φ，把 x_{≤t} 视为"边界条件"，那么 L_CE 就是某种 S[φ, x_{≤t}]。这个对应不是严格的——L_CE 不是泛函积分而是离散期望——但它的形式给我们一个直觉：预训练是在 S[φ] 上做随机梯度 Langevin 动力学。
这个 image 立刻给出了几个可验证的预言。第一，粗粒度语义在深层、细粒度词法在浅层——这在 Transformer 的层级可视化里被反复证实。如果预训练是粗粒化，那么每一层都应该"积分掉"一些细节：浅层保留 n-gram/词法/句法的细粒度结构，中层处理句法/局部语义，深层编码全局语义/世界知识。这个层级结构的实验证据早就存在（ELMo、GPT 各层 probing），但 RG 视角给出了一个为什么：因为粗粒化是逐层推进的，每一层都是上一层的不动点附近的 coarse-graining。
第二，不同的训练数据分布对应不同的有效作用量。Code-heavy 数据集把 S[φ] 推向"程序结构敏感"的不动点；对话数据集把它推向"指令响应"的不动点；多语种数据集把它推向"语言无关表征"的不动点。这解释了为什么不同 base model 适合不同的下游任务——它们停在不同的不动点上，fine-tuning 只能在那个不动点的 relevant direction 上微调。
第三，训练过程本身是一个尺度跨越的过程——从早期对高频词的高拟合，到中期对句法的掌握，到晚期对世界知识的建模，再到很长训练后才会出现的推理能力。如果把训练步数 t 视为 RG flow 的"时间参数"，那么早期是 UV 端的细粒度拟合，中期是粗粒度整合，晚期是不动点附近的临界化。这与 scaling law 发现的"compute-optimal frontier 在不同规模上有不同的 loss 主导项"是一致的——主导项的切换就是不动点附近 different relevant directions 轮流被"激发"的过程。
第四，预训练数据的多样性 = S[φ] 的正则化。如果训练数据只覆盖单一分布，S[φ] 只有一个狭窄的 basin，模型就停在某个次优不动点上，缺乏泛化能力。数据多样性迫使 S[φ] 形成一个更平滑的有效作用量 landscape，从而有更稳定的临界不动点。这从 RG 角度给出了"为什么数据多样性比数据量更重要"的一个新解释——多样性是 effective smoothness 的来源。
预训练把模型带到一个近似不动点 φ*。SFT 的目标是让模型学会"按指令格式回应"，DPO/GRPO 进一步让模型"按人类偏好排序"。这两个阶段都不应该大幅偏离 φ*——任何大幅偏离都会引发灾难性遗忘。这个直觉在工程上被验证过无数次：SFT 的学习率要比预训练小 100 倍，KL 惩罚要被加上以防 policy drift。从 RG 视角看，这些工程经验都是不动点附近微扰展开的实例。
形式化地，假设预训练后模型参数 φ* 是某个不动点（满足 RG flow 不再显著改变 φ），那么 SFT 引入的微扰可以写成 φ = φ* + δφ。在不动点附近做线性化，RG 流方程简化为：
δφ' = M · δφ
其中 M 是 linearized RG operator 在不动点附近的 Jacobian。它的本征值 λᵢ 决定了不同方向微扰的命运：|λᵢ| < 1 的方向是 irrelevant——微扰在 RG flow 下被衰减，这就是 catastrophic forgetting 的"被擦除"机制；|λᵢ| > 1 的方向是 relevant——微扰在 RG flow 下被放大，正是 fine-tuning 真正能影响的方向；|λᵢ| = 1 是 marginal——微扰沿该方向在不动点附近保持，是 LoRA 之类的低秩适配器最有效的方向。
这个图像立刻澄清了 SFT/DPO 的几个看似神秘的现象。第一，为什么 LoRA 这么有效：低秩微调本质上是把 δφ 限制在 M 的某个低秩子空间内，这个子空间大概率对应 marginal 或 slightly relevant 的方向——不会被衰减也不会失控。这解释了 LoRA 的"窄而稳"特性。第二，为什么 DPO 的对偶重参数化有效：DPO 把 RLHF 的 reward+KL 重新组合成 log-ratio 形式，从 RG 视角看，这等价于选择性地放大 relevant direction 而不破坏 marginal direction。第三，为什么 GRPO 的群组优势有效：GRPO 用同组多个回答的相对优势替代绝对奖励，这等价于沿 φ* 附近的 relevant direction 做有限差分探测——只在 group-internal variance 显著的方向上调参，避免 PPO 的全局 reward drift。
更深入一点，RLHF 中的 KL 惩罚本质上是 IR cutoff 的工程实现。在凝聚态物理里，IR cutoff 是"低于这个尺度的涨落不积分进有效理论"——对应 LLM 里就是"不让 policy 偏离 reference policy 太远"。KL 惩罚在数学上等价于对 δφ 的 L² 范数做软约束，对应 RG 视角里的 relevant direction 不越过 IR 边界。Reward hacking 在 RG 视角里是另一个清晰的现象：相关长度 ξ 在某个 relevant direction 上发散——模型找到了一个 δφ 的极端配置，沿某个 relevant direction 跑到了不动点有效子空间的边界外，进入了 landscape 的非物理区域。
这个 image 还给出了一个可证伪的预测：SFT/DPO 后模型"被擦除"的能力应该是 |λᵢ| 极小的方向——即从预训练得到的、与 fine-tuning 数据无关的知识。如果我们对 SFT 前后的模型做能力 probing，期望看到 catastrophic forgetting 主要发生在与 fine-tuning 数据最无关的任务上。这个预测已经在 id=405《经验回放与灾难性遗忘》里被部分证实（"稳定性-可塑性悖论的多盆地拓扑"），但 RG 视角给出了更具体的数学预言：被遗忘的方向应该满足 |λᵢ| ≪ 1。
如果预训练是粗粒化（从高分辨率到低分辨率），那么 test-time compute 就是反方向——从模型的压缩表示里"重新还原"出更细粒度的推理步骤。Chain-of-thought、self-consistency、tree-of-thought、self-refine，这些技术的共同本质是：用一个低分辨率的 policy，在推理时展开多步，每一步都重新聚焦到一个更细粒度的子问题。
从 RG 视角看，每一步 CoT 是一次 block-spin 重正化——但方向是反的，不是从细到粗，而是从粗的 policy 状态到细的子目标。具体来说，模型在生成"step 1"时，policy 输出一个相对高层的"我要先计算 X"的决策；这一步把 query 粗粒度地分解成一个子问题；"step 2"再在这个子问题上做更细粒度的分解；如此递归直到达到可以"直接回答"的细粒度。这与凝聚态物理里的"重正化群逆向"是同构的——给定一个宏观观测量，你可以沿 RG flow 反向追踪到对应的微观配置。
这个 image 解释了 test-time scaling 的几个关键经验。第一，为什么 self-consistency 有效：多次采样然后投票，本质上是在粗粒度的 policy 上做"多起点 fine-graining 反向追踪"，最后在每个反向轨迹的终点投票——这等价于沿 IR 方向做 ensemble，恰好抵消单次反向追踪的噪声。第二，为什么 tree-of-thought 比 chain-of-thought 更强：toT 不是单一的反向轨迹，而是 branching 的反向 flow——每个分支都是独立的 fine-graining 反向，结果按某种价值函数剪枝。这等价于在 IR 方向上做了 beam search，而 beam search 在 RG 视角下就是反向 flow 的图搜索。
更重要的，test-time scaling 的最优分配曲线——id=418 提出的"计算最优分配理论"——在 RG 视角下获得了清晰的解释。Compute-optimal frontier 的形状不是任意的：它由不动点附近 marginal directions 的 marginal utility 曲线决定。当模型处于"远离不动点"的状态（early training、under-trained），增加 test-time compute 的边际收益很高（你可以把模型"推回"到不动点附近）；当模型已经接近不动点（well-trained），边际收益递减（再加 CoT 步数只能微调 marginal direction）。这给出了 id=418 计算最优曲线为什么呈 sublinear 增长的 RG 解释——是 marginal utility 在不动点附近的临界行为。
这个 image 还解释了为什么 infinite CoT（无限制增长推理步数）会饱和：从不动点出发的反向 RG flow 会被 IR cutoff 限制——超出某个 cutoff，fine-graining 不再带来新信息，因为有效作用量已经稳定。这个预测与 id=415 观察到的"agentic 推理的几何饱和"现象一致——超出某个 chain depth 后，质量增益趋于零。
id=423 的《推理时计算分配的变分下界》提供了更数学的桥梁：变分下界是 RG flow 的最速下降。在凝聚态物理里，最速下降 RG flow（Polchinski exact RG）就是变分下界的极值；搬到 LLM 上，test-time compute 的最优分配就是变分下界的最速下降轨迹。变分下界在这里是 test-time compute 分配的"硬约束"——任何分配策略的下界都被这个变分原理所决定。
奖励模型（Reward Model, RM）在 RLHF 中扮演了双重角色：它是"目标函数"，同时也是 policy 的"参考场"。从 RG 视角看，RM 是粗粒化的哈密顿量——它把细粒度的 token-level likelihood 投影到一个粗粒度的"整体质量"标量。这个粗粒化过程不是中性的：不同的 RM 架构会粗粒化到不同的有效场理论，从而 policy 沿不同 RG flow 演化。
PPO/GRPO 的 policy 更新可以写成：
θ_{t+1} = θ_t + η · ∇_θ E[r_φ(x, y)]
从 RG 视角看，这是在 RM 有效势 U_eff(θ) = -E[r_φ(x, y)] 上做 Langevin 采样。U_eff 的 landscape 形状决定了 policy 的演化轨迹。如果 U_eff 有清晰的 basin，policy 会稳定收敛到某个不动点；如果 U_eff landscape 崎岖，policy 会在 basin 之间跳跃，对应"alignment instability"。
Reward hacking 在 RG 视角里是清晰的临界现象：当 policy 沿某个 relevant direction 远离不动点时，相关长度 ξ 会发散——policy 找到一个"高 reward 但低真实质量"的区域，本质上是在 U_eff landscape 上跑到了一个 fine-grained 局部极值，超出了粗粒化 RM 的分辨能力。从这个角度看，reward hacking 不是 RM 的"失误"，而是 RG 视角下的必然现象——任何粗粒化都会丢失细节，policy 总能 fine-grained 利用这些丢失。
这个 image 给出了几个工程推论。第一，KL 惩罚不是可有可无的奢侈品，而是 IR cutoff 的工程实现——它强制 policy 不越过粗粒化 RM 的有效分辨率边界。这是 id=405 经验回放与 KL 正则在更高层面上的统一。第二，多 RM ensemble 提升了 coarse-graining 的精度——每个 RM 是不同 coarse-graining 操作，多 RM ensemble 等价于多尺度 RG flow 的 intersection，能更精确地定位真正的不动点。第三，Constitutional AI / RLAIF 是把人为规范当作"软边界条件"——它给 RG flow 增加了额外的 relevant direction，让 policy 在多个 relevant directions 的 trade-off 上做选择，而不是只朝 RM 单一方向跑。
DPO 的对偶重参数化在 RG 视角里更优雅：它把 RLHF 的"先训 RM 再优化 policy"两步合并为一步，相当于把 RM coarse-graining 操作和 policy fine-graining 操作复合——得到一个更直接的 RLHF 变分原理，不需要显式 RM。GRPO 的群组优势则把绝对 reward 替换为相对 advantage，相当于用差分探测 relevant direction——只对 group-internal variance 敏感的 direction 做更新，避免了 reward scale 不对齐带来的漂移。
最后，RLHF 的 instability——比如 policy 在训练后期突然发散、reward 突然上升但实际质量下降——从 RG 视角看是 UV catastrophe：policy 跑到了一个 UV 端的 singular 配置，fine-grained RM 的分辨率已经无法 capture，但 coarse-grained RM 给出虚高的 reward 信号。判断标准是：观察 policy 的输出是否在某个 irrelevant direction 上突然放大（典型表现是特定 phrase 的高频出现、特定结构的过度使用）。一旦观察到，训练应该立即停止或回滚到上一个稳定的 checkpoint——这是 UV cutoff 的工程实例。
把 RG 视角落地到工程，我们得到以下七条可执行推论，每一条都给出"如果 RG 视角对，那么应该观察到 X"的实验预言。
(1) 学习率预热 = IR 标度化。预热期把学习率从 0 升到 η_max，本质上是让优化器先在 IR 端（粗粒度）走几步稳定后再切到 UV 端（细粒度）。RG 视角预言：预热步数应该与 batch size 成正比（更长的 batch 走得更"远"），与模型深度的对数成正比（更深的模型需要更多"粗化步"才能稳定）。如果数据强烈不均衡，预热步数应该显著加长。
(2) Curriculum learning = 沿 RG flow 的尺度路径。从易到难的 curriculum 等价于沿 RG flow 走——先训练模型处理粗粒度模式，再逐步加入细粒度细节。RG 视角预言：curriculum 的"难度序列"应该与训练数据在不同尺度上的频谱一致（这个频谱可以由 Fourier 分解或 wavelet 分解得到）。违背这个序列（比如在细粒度阶段突然插入粗粒度数据）应该导致 fine-grained forgetting。
(3) LoRA / 适配器 = relevant direction 的子空间截断。LoRA 把 δφ 限制在 rank-r 子空间，这等价于只允许 policy 沿 M 的某些本征方向更新。RG 视角预言：最优 rank-r 应该与 |λᵢ| > 1 的 relevant directions 数量一致——大约 O(√N) 或更小。如果 LoRA rank 过大，会引入 irrelevant directions 上的 noise；如果过小，会错过 relevant directions。
(4) KL 惩罚 = 限制 δφ 不越过 IR cutoff。KL 项的强度 η_KL 应该与"reference policy 的 coarse-graining 精度"成正比。如果 RM 的精度高，η_KL 可以小（IR cutoff 远）；如果 RM 精度低，η_KL 必须大（IR cutoff 近）。具体到工程：当 RM 训练数据 < 10k 时，η_KL 至少应该是 PPO 默认值的 2-3 倍。
(5) 早停 = ξ 还没发散就停。验证集 loss 不再下降时立即停止训练——这是经典的 early stopping。RG 视角给出了一个更精确的判据：当某个 relevant direction 的 |λᵢ| 在最近 N 步内单调上升接近 1 时，立即停止。这个判据等价于"ξ 在某个 task 上快要发散了"——再训练就会进入 reward hacking 区域。
(6) MoE 专家路由 = block-spin 分桶。每个 MoE 专家对应一个 block-spin 的中心，路由器决定每个 token 进入哪个 expert。RG 视角预言：expert 的数量应该与"训练数据中存在的有效模式数量"匹配。如果 expert 过少，会发生 mode collapse（多个模式被合并到一个 expert）；如果 expert 过多，会发生 sparse routing（每个 expert 只覆盖长尾的细粒度模式，失去 coarse-graining 能力）。id=438 的《稀疏激活 MoE 的统计力学理论》给出了专家专科化的形式化——RG 视角与统计力学视角互补，前者强调尺度跨越，后者强调模式分布。
(7) 推理时早停 = IR cutoff 的工程实例。id=457 的"流式响应与中断恢复"、id=415 的"agentic 推理的几何饱和"——这些技术本质上是在推理时识别"已经到达不动点附近的 relevant direction 的有效作用量"，及时停止继续 CoT。RG 视角给出了一个可操作的判据：当连续 N 步 CoT 的 output diversity 显著下降时（意味着已经 fine-grained 到 marginal direction 上），停止 CoT。output diversity 可以用 output embedding 的 Rényi entropy 或 spectral entropy 度量。
这七条都不是新发明——每一条在现有最佳实践中都有对应。但 RG 视角的价值是把它们统一到一个解释框架里，并给出可证伪的预言：如果某个具体实践不满足 RG 视角的预言，那么这个实践要么需要重新设计，要么 RG 视角本身需要修正。
本文的 RG 视角与最近几篇 evening 文章是互补的而不是竞争的。简要梳理这种互补性。
与 id=453《涌现能力的相变标度律》的关系：RG flow 是 critical exponent 的动力学解释。id=453 把涌现描述为"有限尺寸标度到临界指数普适性"的跃迁，但未解释这个跃迁的动力学机制——为什么训练会让相关长度 ξ 单调增长？RG 视角补上了这个环节：训练本身就是 RG flow，ξ 在 flow 上的单调增长由 flow 的非线性结构保证。两者结合给出了"涌现能力的因果机制 + 数学刻画"完整图景。
与 id=428《知识蒸馏与模型合并的黎曼几何》的关系：teacher model 是 coarse-graining operator。黎曼几何视角说 teacher 和 student 的 loss landscape 在某个子流形上"几何同构"，但未解释"为什么能同构"。RG 视角说：teacher 是 R_b 的实现，把 student 的不动点粗粒化到 teacher 的不动点附近；几何同构是 RG flow 的不变性子流形——某些方向被流保护，某些方向被流衰减。两者结合给出了"几何拼接为什么可行"的因果基础。
与 id=402《偏好对齐的公理化重建》的关系：公理化等价于 RG flow 的稳定流形。公理（比如 Bradley-Terry、Plackett-Luce、RLAIF 的"无害性公理"）定义了偏好空间的哪些方向是"relevant"——它们应该被 RLHF 影响。RG 视角说：公理是 M 在偏好子空间上的本征方向选择——选定公理等价于选定 RLHF 应该走的 relevant direction 子集。两者结合给出了"公理对应哪些 RLHF 训练动态"的几何解释。
与 id=438《稀疏激活 MoE 的统计力学》的关系：专家路由是 block-spin 分桶，统计力学是模式分布。统计力学视角用配分函数描述 expert 的专科化，RG 视角用尺度跨越描述 expert 的 coarse-graining 边界。两者实质上是同一物理图像的两种数学语言——统计力学强调 ensemble 平均，RG 强调尺度跨越。同一理论的两个面。
与 id=448《Grokking 的相变理论》的关系：Grokking 是 RG 不动点的跃迁。id=448 描述了 grokking 作为训练阶段的相变；RG 视角说这是模型沿 RG flow 从一个不动点跳到另一个不动点的过程——记忆阶段是 memorization 不动点（局部细节被压缩），泛化阶段是 generalization 不动点（全局模式被保留）。两者结合给出了 grokking 的几何 + 因果双重解释。
需要诚实地指出RG 视角的局限。第一，LLM 没有严格的格点和截断尺度——凝聚态物理里 Λ 是 block size 的倒数，是精确的；LLM 里"尺度"是模糊的隐喻。第二，RG 不动点的存在性尚无证明——我们猜想预训练收敛到不动点，但没有 scaling experiment 直接验证 ξ 的发散行为。第三，RG flow 的具体方程未知——我们用了 linearized RG 在不动点附近的展开，但全局 RG flow 的非线性结构还没有 LLM 的对应物。第四，RG 视角对 test-time compute 的解释仍是定性——具体到 chain-of-thought 的几何细节，还需要更精细的数学工具。这些局限意味着：RG 是有用的启发式，但不是终极理论。
把 RG 视角作为研究纲领，我们识别出三个未解的关键问题——每一个都可以用现有的实验设备设计验证实验。
问题一：LLM 是否真有 RG 不动点？ 这个问题看似抽象，但有一个具体的可证伪判据。设计 scaling law 实验：固定模型架构和数据量，仅改变训练步数 t，测量模型在不同 task 上的"有效分辨率"——例如用 probing classifier 在每一层上测量其能区分的最细粒度模式。如果模型真的沿 RG flow 演化，那么训练早期（t 较小）的有效分辨率应该是细粒度（token-level），训练后期（t 较大）的有效分辨率应该是粗粒度（语义-level）。这个分辨率随 t 的变化曲线应该呈现幂律饱和——这是 RG flow 收敛到不动点的特征行为。预期结果：如果看到幂律饱和，RG 视角得到初步支持；如果看到指数衰减或震荡，RG 视角需要修正。
问题二：SFT/DPO 的 relevant direction 是低维的吗？ id=358 的内在维度研究、id=428 的黎曼几何都暗示 fine-tuning 有效方向是低维的——但具体到 SFT/DPO 阶段，这个低维子空间的维度是多少？设计实验：在 SFT 前后测量模型参数的 Hessian 矩阵，比较其 top-k eigenvalues 的相对变化。如果 relevant direction 是低维的，那么 SFT 后 Hessian 的 top-k eigenvalues 应该显著增大，k ≪ N（模型总参数数）。同时，top-k eigenvectors 应该与 fine-tuning 数据的某种 task-specific representation 高度对齐——这可以直接用 SAE 或 task vector 做对比验证。
问题三：Test-time compute 的"无限细粒度极限"是否存在饱和？ 这个问题关系到 reasoning scaling 的根本边界。设计实验：对同一组 reasoning tasks，逐步增加 CoT 步数（从 1 到 1024），测量每个步数下的任务准确率和 output diversity。如果 RG 视角对，应该存在一个 saturation point——超出这个点，再增加 CoT 步数带来的准确率增益应该 < 1%，output diversity 应该 < baseline 的 10%。这个 saturation point 就是 test-time RG 的 IR cutoff。这个实验的工程意义巨大：如果 saturation 存在且较低（比如 64 步），那 CoT scaling 的边际成本会快速变差；如果 saturation 不存在或极高，那 test-time compute 是更普适的 scaling axis。
给研究者的行动建议：把训练过程画成 RG flow 图。具体操作——选一个中等规模模型（比如 Llama-3-8B 或 Qwen2.5-7B），在预训练的多个 checkpoint 上测量：(a) 不同层的 probing accuracy；(b) 不同层的 effective rank；(c) 不同层的 feature spectrum decay rate。把这三个量随训练步数的演化画成图，观察它们是否符合 RG flow 的特征——单调变化、幂律饱和、谱结构稳定。如果三图都符合，那么这个模型就是 RG 不动点存在的实验证据；如果不符合，RG 视角需要更精细的修正。
这个研究方向如果走通，可能给 LLM 的训练理论带来类似"Wilson 之于临界现象"那样的范式转变：从经验性的"什么有效"转向原则性的"为什么有效"。这不是一个工程问题，而是一个理论物理学问题——值得研究者投入数年时间。
本文以重整化群作为统一视角，把大模型预训练、SFT、DPO/GRPO、test-time compute、reward hacking 这几个看似分散的现象串成 RG flow 上的尺度跨越过程。所有结论目前仍是启发式类比，需要更精细的实验验证。截至 2026-07-28 未有公开数据直接证明 LLM 训练存在严格的 RG 不动点，这一方向的实验验证仍是开放问题。
Conversation
0 条