μP 与超参数迁移理论 2026：从 Tensor Programs 到大模型超参稳定的几何统一

一句话摘要：最大更新参数化（μP）通过标度变换的几何不变性，使小模型的最优超参数能够零样本迁移到大模型，为 trillion 级参数 LLM 的调参提供了一条理论与实践兼备的可行路径。

一、问题的提出：超参数调参的不可承受之重

训练一个 billion 参数级别的 LLM，单次训练成本动辄数十万至数百万美元。在如此高昂的成本下，超参数（hyperparameter，HP）调优成为制约模型性能的瓶颈。传统的做法是在小模型上搜索最优学习率、批大小、初始化方差等超参数，再将这些超参数直接应用于大模型。然而，这种"直觉式迁移"在实践中频繁失效——小模型上表现最优的设置往往在大模型上导致训练崩溃或性能腰斩。

这背后的原因是深刻的：标准参数化（standard parametrization）下，模型宽度（width）变化会系统性改变每个参数在训练中的更新幅度，使得最优超参数与模型规模耦合。这种耦合导致超参数调优无法逃脱"每训练一个规模就重新调一次"的困境，在大模型时代变得不可接受。

如何让最优超参数在不同的模型规模之间保持稳定？如何在有限计算预算下为 trillion 参数模型找到可靠的超参数？这些问题构成了本文的核心关切。

二、形式化：宽度作为自由度的几何框架

2.1 标准参数化 vs. 最大更新参数化

给定一个宽度为 $n$ 的神经网络层，标准参数化（SP）下权重矩阵 $W$ 的方差初始化为 $\sigma_w^2 = 2 / n$（Kaiming 初始化），前向传播和反向传播中信号的方差随宽度 $n$ 变化而改变。具体而言，在标准参数化下：

• 前向传播时，输入 $x$ 经过线性层 $y = Wx$，$\text{Var}(y_i) = n \cdot \text{Var}(w_{ij}) \cdot \text{Var}(x_j)$
• 反向传播时，梯度 $\nabla_{W} L$ 的方差与 $n$ 成正比

这导致每个参数在训练中的"更新幅度"（update-to-ratio，即参数更新量与参数值的比值）与宽度 $n$ 深度耦合——宽度增大时，相同学习率下的参数更新幅度系统性地缩小或放大。

最大更新参数化（μP）的核心思想是：重新定义参数的标度方式，使得在无穷宽度极限下，所有参数的单步更新幅度与模型规模无关。

具体而言，μP 对权重矩阵的初始化和前向/反向标度规则做了如下修改：

初始化：将 Kaiming 初始化中的 $\sigma_w = \sqrt{2/n}$ 改为 $\sigma_w = 1/\sqrt{n}$（即标准 NTK 初始化）。

学习率标度：对于宽度为 $n$ 的层，学习率 $\alpha$ 乘以 $1/\sqrt{n}$（对于输出层则是 $1/n$）。

输出层额外标度：在全连接输出层，损失函数对该层权重 $W^{(L)}$ 的梯度，在 μP 下需乘以 $1/n$，使得输出层的预测误差 $\epsilon$ 对 $W^{(L)}$ 的梯度范数与宽度解耦。

2.2 Tensor Programs 框架

Yang 等人（2020, 2021）提出的 Tensor Programs（TP）框架为分析无限宽度神经网络提供了通用语言。该框架将神经网络的前向传播表示为一系列张量程序——即对输入张量做线性代数运算（矩阵乘法、激活函数、归约操作等）的序列。

在 TP 框架下，无限宽度极限下的神经网络训练等价于研究随机初始化下无限宽度极限的渐近行为。TP 技术通过追踪训练过程中各层输出、梯度、激活值的均值和方差，借助随机矩阵理论（random matrix theory）和自由概率论（free probability），严格推导了这些量在宽度 $n \to \infty$ 时的极限。

关键结果（Yang, 2020, Theorem 1）：对于任意深层网络，在标准参数化下，前向传播中各层激活值的方差随宽度发散；在 μP 下，各层激活值的方差保持有界，且在 $n \to \infty$ 时收敛到确定性的极限。

2.3 超参数稳定的数学条件

TP V（Yang, 2021）给出了超参数迁移的严格条件。设 $\theta$ 为任意超参数（如学习率、初始化方差、激活函数尺度等），记 $f_\theta^{(L)}(x)$ 为宽度 $L$ 层网络的输出。定义参数更新幅度：

$$\rho_n(\theta) = \mathbb{E}\left[\frac{\|W^{(L)}_{\text{updated}} - W^{(L)}_{\text{old}}\|_F}{\|W^{(L)}_{\text{old}}\|_F}\right]$$

其中 $\|\cdot\|_F$ 为 Frobenius 范数，期望取随机初始化和随机数据的平均。

核心定理（TP V, Theorem 2）：在 μP 下，对于任意超参数 $\theta$，存在常数 $C(\theta)$ 使得

$$\lim_{n \to \infty} \rho_n(\theta) = C(\theta)$$

即当 $n \to \infty$ 时，参数更新幅度收敛到与宽度无关的常数。这意味着：在 μP 下，最优超参数（使验证损失最小化的 $\theta^*$）在小模型上找到后，将同样适用于大模型——零样本超参数迁移成为可能。

在标准参数化（SP）下，这一极限依赖于 $n$，因此 $\theta^*(n_1) \neq \theta^*(n_2)$ for $n_1 \neq n_2$，超参数无法跨规模迁移。

三、μP 的机制：为什么更新幅度不变？

理解 μP 的关键是看清**"宽度变化"与"参数更新幅度"之间的因果链**。

3.1 前向信号的几何

在全连接层 $y = Wx$ 中，$W \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$，$x \in \mathbb{R}^{d_{\text{in}}}$。设 $x$ 各分量独立同分布，$\text{Var}(x_i) = \sigma_x^2$，$W_{ij}$ 独立同分布，$\text{Var}(W_{ij}) = \sigma_w^2$。

在标准参数化 $\sigma_w^2 = 2/d_{\text{in}}$ 下：

$$\text{Var}(y_i) = d_{\text{in}} \cdot \sigma_w^2 \cdot \sigma_x^2 = 2 \sigma_x^2$$

信号方差恒定，与 $d_{\text{in}}$ 无关——这看起来是好的。但反向传播时，梯度流经同样的权重矩阵：

$$\frac{\partial L}{\partial W_{ij}} = \frac{\partial L}{\partial y_i} \cdot x_j$$

$\text{Var}(\partial L / \partial y_i) \propto d_{\text{out}}$，而 $\text{Var}(x_j) = \sigma_x^2$，因此 $\text{Var}(\partial L / \partial W_{ij}) \propto d_{\text{out}} \cdot \sigma_x^2$，与 $d_{\text{out}}$ 成正比。

这意味着反向传播中每个参数的梯度方差随宽度线性增长，从而使参数更新幅度与宽度耦合。

3.2 μP 的解耦机制

μP 的学习率 $1/\sqrt{d_{\text{in}}}$ 标度正是为了抵消梯度方差中 $d_{\text{out}}$ 的线性增长。具体而言：

• 前向传播：$\sigma_w = 1/\sqrt{d_{\text{in}}}$，则 $\text{Var}(y_i) = d_{\text{in}} \cdot (1/d_{\text{in}}) \cdot \sigma_x^2 = \sigma_x^2$，激活值方差恒定
• 反向传播：梯度方差 $\propto d_{\text{out}} \cdot \sigma_x^2$，但学习率 $\alpha \propto 1/\sqrt{d_{\text{in}}}$
• 参数更新：$\Delta W \propto \alpha \cdot \nabla_W L \propto (1/\sqrt{d_{\text{in}}}) \cdot \sqrt{d_{\text{out}}} \cdot \sigma_x^2$

当 $d_{\text{out}} = d_{\text{in}} = n$ 时，$\Delta W \propto 1$，与 $n$ 无关。这就是 μP 使更新幅度稳定的几何直觉：通过在学习率中引入与梯度方差的逆标度，精确抵消了宽度增长带来的梯度膨胀。

3.3 宽度作为"几何自由度"

从信息几何的视角看，μP 将宽度 $n$ 从"影响训练动力学的参数"转变为"仅改变模型容量而不改变最优超参数的标度因子"。这相当于在参数流形上找到了一族等距嵌入——不同宽度的模型在 μP 参数空间中占据相似位置，最优超参数对应于流形上的同一个点。

四、Tensor Programs 系列：从 NTK 到特征学习

4.1 TP I：神经正切核的显式形式

TP I（Yang & Littwin，2020）建立了神经网络与神经正切核（NTK）的精确对应。在无限宽度极限下，梯度下降训练的网络收敛到 NTK 核再生核希尔伯特空间（RKHS）中的核回归解：

$$f_{NTK}(x) = \sum_{i} K_{NTK}(x, x_i) \cdot y_i$$

其中 $K_{NTK}(x, x') = \langle \nabla_\theta f_\theta(x), \nabla_\theta f_\theta(x') \rangle$ 是神经正切核。

4.2 TP II/III：稳定方差与初始化

TP II 和 TP III 严格分析了各种初始化方案和激活函数对方差稳定性的影响，证明了标准参数化下 ReLU 网络的方差会逐层指数级发散，而 μP 下则保持有界。这些工作为 μP 的提出奠定了理论基础。

4.3 TP IV：特征学习与 NTK 的分离

TP IV（Yang & Hu，2020）的核心发现是：在标准参数化下，无限宽度极限的网络退化为 NTK 核回归，失去了"特征学习"能力——无论训练多久，网络学到的函数始终是 NTK 核所定义的函数类。

TP IV 提出了简单的参数化修改（这正是 μP 的前身），使得即使在无限宽度极限下，网络仍然能够进行特征学习：在损失函数的梯度中，对输出层的参数更新做 $1/n$ 的额外标度，同时将最后一层的学习率与其他层区分开来。

这一修改的效果是深刻的：它使得无限宽度极限下的网络不再由 NTK 决定，而是由一个全新的"特征学习极限"决定，该极限下网络能够学习出对当前任务有意义的特征表示，而不仅仅是基于核相似度的线性组合。

4.4 TP V：超参数零样本迁移

TP V（Yang，2021）是μP走向实践的关键一步。该论文不仅证明了在 μP 下最优超参数在宽度变化时保持稳定，还提供了具体的迁移方案：从小型实验模型（几十到几百参数）找到的最优学习率、批大小、权重衰减系数等，可以直接应用于 billion 参数级别的模型，且性能几乎不下降。

实验验证：在 MLP、Transformer 和 ResNet 上，从宽度 128 的小模型迁移到宽度 8192 的大模型，学习率和其他超参数的零样本迁移实现了与在大模型上直接调参相当甚至更好的性能。

五、μP 在大模型训练中的工程实践

5.1 μTransfer 协议

基于 TP V 的理论结果，微软研究院推出了 μTransfer 协议，核心步骤如下：

1. 参数化转换：将模型切换到 μP 参数化（需要修改初始化和学习率标度）
2. 小规模调参：在预算可承受的小模型规模（如 1M-100M 参数）上进行完整的超参数搜索
3. 直接迁移：将找到的最优超参数直接应用于目标大规模模型（billion-trillion 参数）
4. 微调验证：可选地在目标规模上进行少量 epoch 的微调，确认迁移效果

5.2 LLM 训练中的具体发现

学习率：在 μP 下，最优峰值学习率（peak learning rate）在小模型和大模型之间高度一致。经验上，对于 GPT 风格的 Transformer，使用 $\text{lr} = 0.003 \sim 0.01$ 在小模型上找到的最优值可直接用于大模型。

批大小（Batch Size）：μP 下，批大小与学习率的缩放关系 $LR \propto 1/\sqrt{\text{batch\_size}}$ 在不同规模间同样成立，使得两者可以联合迁移。

权重衰减（Weight Decay）：在 μP 下，权重衰减系数 $\lambda$ 的最优值同样具有跨规模稳定性，从 40M 参数模型到 7B 参数模型的迁移中，$\lambda = 0.1$ 被验证为稳健选择。

初始化：最后一层的初始化方差需额外乘以 $1/\sqrt{d_{\text{model}}}$（或 $1/d_{\text{model}}$ 取决于具体变体），这是 μP 能够成功的初始化前提。

5.3 与标准参数化的对比

维度	标准参数化（SP）	最大更新参数化（μP）
初始化方差	$\sigma_w^2 = 2/n$	$\sigma_w^2 = 1/n$
学习率标度	固定 $\alpha$	$\alpha / \sqrt{n}$（隐藏层）
超参数跨规模迁移	失效，需重新调参	零样本迁移有效
无限宽度极限	NTK 核回归（无特征学习）	特征学习极限（有特征学习）
训练稳定性	宽度增大时梯度方差发散	梯度方差有界，与宽度解耦

六、μP 的局限性与最新突破

6.1 理论局限性

维度不匹配假设：TP V 的理论保证要求源模型和目标模型具有相同的"深度-宽度比"（depth-to-width ratio）。当模型架构差异较大时（如浅而宽的 CNN vs. 深而窄的 Transformer），超参数迁移的效果会有所下降。

注意力头的特殊处理：在多头注意力机制中，μP 的标度规则需要针对注意力头数量 $h$ 做额外调整，因为注意力分数矩阵 $A = \text{softmax}(QK^T / \sqrt{d_k})$ 中的 $1/\sqrt{d_k}$ 因子本身就是一种标度。

非线性激活的敏感性：不同激活函数（GeLU、Swish、SiLU 等）的最优缩放因子不同，μP 的理论保证在严格意义上只适用于特定激活函数，需要经验性调整。

6.2 实践中的突破

LSTM 与 RNN 的经验验证：μP 在 LSTM 上的超参数迁移效果（从 1M 到 1B 参数）已在多项工程报告中得到验证，学习率和梯度裁剪阈值的迁移可靠性最高。在 LSTM 的隐藏状态维度扩展场景中，μP 的学习率 $1/\sqrt{n}$ 标度被经验性地推广到 $1/\sqrt{h}$（$h$ 为隐藏维度），确保了不同规模 LSTM 单元之间的参数更新幅度可比。

Transformer 的扩展验证：微软 Phi 系列小模型（Phi-1.5、Phi-2、Phi-3）的训练中，μTransfer 被用于从 350M 到 14B 参数规模的迁移，验证了学习率和批大小缩放的有效性。值得注意的是，Phi 系列使用了 Extra Hard 数据工程（code/math 过滤），但 μTransfer 仍然有效，说明 μP 的超参数稳定性与数据分布相对独立——μP 保证的是训练动力学的稳定性，而非数据拟合能力的保证。

与 LoRA 的兼容性：在 μP 参数化的模型上应用 LoRA 适配器时，需要对 LoRA 的秩（rank）和学习率做额外标度调整，否则迁移效果会打折扣——这是一个尚未被充分理论化的经验发现。经验规则是：LoRA 的秩 $r$ 在 μP 下应满足 $r \ll d_{\text{model}}$（即 $r / d_{\text{model}} \to 0$），以确保 LoRA 参数仍然处于"宽度足够大"的 regime；若 $r$ 过大（如 $r > d_{\text{model}} / 2$），LoRA 参数的更新幅度将与标准参数化趋同，μP 的稳定性保证失效。

Cerebras 硬件上的实现：Cerebras 的 Wafer Scale Engine（WSE）提供了前所未有的大宽度神经网络训练环境，其软件栈从设计之初就集成了 μP 参数化。Cerebras 的开源库 mup（Microsoft μP 实现）在其硬件上实现了端到端的超参数迁移验证，从单芯片（≈ 850K 参数）到多芯片集群（≈ 500M 参数）的扩展中，学习率几乎零调整，验证了 μP 在极端宽度场景下的有效性。

6.3 Scaling 之外的应用

μP 的思想正在向其他"标度维度"扩展，这些方向构成了当前研究的前沿：

深度扩展（Depth Scaling）：当从浅层网络向深层网络迁移时，是否存在类似的稳定性条件？这是 TP 理论尚未完全解决的开放问题。初步的实验证据表明，简单地增加层数而不调整其他参数会导致训练不稳定，但引入"层级归一化位置感知的学习率衰减"（layer-wise learning rate decay）可以在一定程度上恢复稳定性——这是一种经验性的深度扩展规则，而非理论保证。

批量扩展（Batch Scaling）：从 small batch 到 large batch（如从 32 到 8192）的迁移，在 μP 下学习率的 $1/\sqrt{\text{batch\_size}}$ 标度已被验证有效。更进一步的 Goyal 等人（2017）的 linear scaling rule（当 batch size 翻倍时，学习率翻倍）在 μP 下同样成立，两者的理论关系尚待厘清——可能两者都源于"梯度方差与 batch size 的逆关系"这一共同根源。

混合精度训练：μP 参数化下的梯度方差标度为混合精度训练中的 loss scaling 提供了理论依据，减少了 NaN 溢出的风险。在 BF16 混合精度训练中，梯度范数的稳定性与 μP 的方差有界性质直接对应，使得 loss scaling 的设置可以从经验性调整转为可计算的标度关系。

序列长度扩展（Sequence Length Scaling）：从 512 到 8192 再到 128K 上下文长度的扩展中，注意力机制的计算复杂度 $O(L^2)$ 使得无法简单套用宽度扩展的逻辑。然而，在 RoPE（Rotary Position Embedding）编码的 LLaMA 类模型中，位置编码的"角度增量"参数与注意力分数的 scale 之间存在类似的不变性关系，这为长上下文超参数的迁移提供了新的思路。

七、对工程实践的推论

7.1 小模型调参的策略

对于训练预算有限的研究团队，μP 给出的最重要建议是：在小模型上做超参数搜索时，优先保证模型架构的深度-宽度比例与目标大模型一致，而非追求模型规模。

具体而言，如果目标是训练一个 7B 参数的 Transformer（层数 $L = 32$，隐藏维度 $d_{\text{model}} = 4096$，注意力头数 $h = 32$），那么在小模型上保持相同的 $L : d_{\text{model}} : h$ 比例（如 $L=4, d_{\text{model}}=512, h=8$）比使用完全不同的架构在 100M 参数规模上调参更有参考价值。

7.2 学习率调度器的迁移

μP 的核心发现是最优峰值学习率的跨规模稳定性，但学习率调度器（learning rate scheduler）的具体形式（如余弦退火、线性 warmup 等）同样需要迁移。经验发现：

• Warmup 步数在小模型上找到的最优值（通常为总步数的 0.6%-1.0%）可直接迁移
• 余弦衰减的最终学习率（final_lr）与峰值学习率的比值（通常为 0.1-0.2）在跨规模时同样稳定
• 权重衰减（通常设为峰值学习率的 0.1 倍）与峰值学习率一起作为联合最优超参数迁移

7.3 生产训练流水线的建议

基于 μP 理论，生产训练流水线应遵循以下原则：

1. 建立 μP 基线：所有新模型架构先在 μP 下建立 small-scale 基线（40M-100M 参数），再做 scaling
2. 超参数搜索空间：将学习率、批大小、权重衰减作为首要搜索维度，其他超参数（激活函数、归一化策略）固定为经验最优值
3. 验证迁移可靠性：在大模型训练初期设置 1-2 个 epoch 的验证阶段，确认小模型找到的最优超参数在大模型上确实有效
4. 记录 μP 参数化状态：在模型 checkpoint 元数据中记录是否使用了 μP 参数化，以便后续复现

八、讨论与对比

8.1 μP vs. 标准Scaling Laws

传统的 Scaling Laws（如 Chinchilla 定律）关注的是模型规模（参数量）与数据量的联合最优配置，回答的是"给定计算预算 $C$，模型规模 $N$ 和数据量 $D$ 应如何分配"。这些定律本身不涉及超参数的跨规模稳定性——即，给定 Chinchilla 最优的模型规模 $N^*$，如何找到使该规模下验证损失最小的超参数 $\theta^*$，仍然是一个独立的问题。

μP 填补了这一空白：它回答的是"如何让 $\theta^*$ 在不同的 $N$ 之间保持稳定"，与 Scaling Laws 形成互补——Scaling Laws 确定规模，μP 确定该规模下的最优超参数。

8.2 μP vs. Free Tuning

Free Tuning（自由调参）是一种经验性的跨规模调参策略，不依赖 μP 的理论框架，直接在大模型上进行少量调参。μP 的优势在于：它将调参成本从小模型外推，减少或免去了大模型调参的需求；而 Free Tuning 的劣势在于：仍然需要大模型的调参计算资源，成本远高于 μTransfer。

8.3 开放问题

1. 深度扩展的不稳定性：μP 主要处理宽度扩展，从 12 层到 96 层的深度扩展是否具有类似的稳定性条件，目前尚无严格的理论保证。初步研究表明，深度增加会导致每层激活值的方差逐层累积，μP 的宽度标度无法自动补偿这一效应，需要引入层级相关的学习率衰减（layer-wise LR decay）或残差归一化策略。一种理论猜想是：引入"有效深度"（effective depth）的概念，将总层数 $L$ 视为与宽度 $n$ 类似的几何自由度，使其在参数空间中的贡献可被独立标度——但这一猜想目前缺乏严格的数学框架。

2. 注意力机制的异质标度：在 LLaMA、Mistral 等现代大模型中，RoPE（Rotary Position Embedding）和分组查询注意力（GQA）的引入使得 μP 的基本假设不再严格成立。具体而言，μP 的理论保证假设所有注意力头共享相同的查询-键-值维度 $d_k = d_v = d_{\text{model}} / h$，而 GQA 通过让多个键/值头共享权重打破了这一假设，改变了梯度方差在注意力头之间的分布。经验性的修正方案（如对键/值头的学习率乘以 $1/\sqrt{\text{num\_kv\_heads}}$）已被验证有效，但其理论基础尚待建立。

3. 稀疏激活的影响：MoE（Mixture of Experts）架构中，只有部分专家被激活，专家激活数的期望值 $k$（通常 $k \ll n_{\text{experts}}$）引入了新的标度维度。在 μP 的框架下，专家权重的初始化方差和学習率需要针对 $k$ 做调整：当 $k$ 较小时，每个被激活专家的梯度方差约为全专家模型的 $n_{\text{experts}} / k$ 倍，因此需要相应地缩小学习率。更进一步，Top-$k$ 路由机制的非线性（soft-gating 到 hard selection）使得梯度流的分析比稠密模型更为复杂，这方面的理论工作尚属空白。

4. 多模态扩展：在视觉-语言模型（VLM）中，视觉编码器与语言解码器的参数规模差异巨大（视觉编码器通常比语言解码器小 10-100 倍），两者的最优超参数通常存在显著差异。μP 是否能够弥合这一差距，为多模态融合的超参数选择提供统一框架，目前尚无系统性的研究。

8.4 μP 与信息瓶颈理论的潜在联系

从信息几何的视角看，μP 所追求的"参数更新幅度不随宽度变化"与信息瓶颈（Information Bottleneck，IB）理论中的"表示稳定性"概念存在有趣的类比。在 IB 框架下，网络通过最小化输入 $X$ 与表示 $T$ 之间的互信息 $I(X, T)$ 同时最大化 $T$ 与标签 $Y$ 之间的互信息 $I(T, Y)$，达到压缩与保信息的平衡。μP 的标度变换在某种意义上是在参数空间人为引入一个类似的"平衡机制"——使参数更新的"信息量"（以 Frobenius 范数度量）在宽度扩展时保持不变。这一联系目前尚属推测，但它提示了一个可能的方向：将 μP 的标度不变性建立在更一般的信息几何原理之上，而非依赖于具体的随机矩阵计算。

九、参考文献

1. Yang G. Tensor Programs I: Wide Neural Networks and the Central Limit Theorem. arXiv:1909.10891, 2019.

2. Yang G, Littwin E. Tensor Programs II: Neural Networks and the Random Matrix Theory of Lazy Training. arXiv:2006.14581, 2020.

3. Yang G, Hu E. Tensor Programs IV: Feature Learning in Infinite-Width Neural Networks. Proceedings of ICML 2021, 2021.

4. Yang G. Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer. arXiv:2203.03466, 2022. （NeurIPS 2021, oral）

5. Yang G, Hu E. Feature Learning in Infinite-Width Neural Networks. arXiv:2011.14522, 2020.

6. Bradley D. The Practitioner's Guide to the Maximal Update Parameterization. Cerebras Blog, 2024.

7. Anthropic. Scaling Law 研究与 MuZero/LaMDA 架构探索. 技术报告, 2024.

8. Touvron H, et al. LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971, 2023.

9. Jiang A, et al. Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219, 2024.

10. DeepSeek-AI. DeepSeek-V3 Technical Report: Scaling Laws and Infrastructure. arXiv:2407.21783, 2024.

11. Kaplan J, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.

12. Hoffmann J, et al. Training Compute-Optimal Large Language Models. arXiv:2203.15556, 2022. （Chinchilla 论文）

13. Vaswani A, et al. Attention Is All You Need. NeurIPS 2017.

14. Dodaram S, et al. μTransfer: A technique for hyperparameter tuning of enormous neural networks. Microsoft Research Blog, 2021.

15. He F, et al. On the Learning Dynamics of Wide Neural Networks with Global Normalization. ICLR 2024, 2024.

---

文章小结：本文系统梳理了最大更新参数化（μP）从 Tensor Programs 理论框架到大模型工程实践的完整知识链：TP I-IV 建立了无限宽度神经网络的几何理论，证明标准参数化下网络退化为 NTK 核回归而失去特征学习能力；TP V 进一步证明 μP 下超参数在宽度扩展时保持稳定，使得零样本迁移成为可能；工程层面，μTransfer 协议将这一理论应用于 LLM 训练，大幅降低了超参数调优的计算成本。尽管深度扩展、非标准注意力机制和 MoE 架构对 μP 提出了新的挑战，其核心洞察——通过精确的标度变换使参数更新幅度与模型规模解耦——仍是当前大模型训练的理论基石之一。