神经切线核视角下的大模型训练理论 2026

一、问题的提出：为什么 NTK 视角对现代大模型仍然关键

神经切线核（Neural Tangent Kernel, NTK）自 Jacot、Gabriel、Hongler 在 2018 年 NeurIPS 上提出以来，已经成为连接深度学习理论与核方法之间的最深刻桥梁之一。它的核心洞见朴素而惊人：当一个神经网络的宽度趋于无穷时，其在初始化附近的训练动力学完全由一个固定的核函数支配——此时网络等价于一个显式的核回归器，几乎不再发生"特征学习"。这个结论对于一个工程师而言似乎遥远：现代大模型的宽度即便按最宽松的尺度也不过数千到数万，远远谈不上"无穷"。然而，NTK 框架的真正价值并不在于字面意义上的"无穷宽度极限成立"，而在于它提供了一组可以精确预测训练动力学、刻画尺度律、组织初始化与学习率耦合的语言。本文试图回答三个层层递进的问题：第一，NTK 在无限宽度下究竟严格意味着什么？第二，有限宽度下的修正如何将这个理论拉回现实？第三，NTK 与 2024 年以来的 μP（Maximal Update Parametrization）、特征学习理论、信息几何以及重整化群这些活跃研究方向如何桥接？文章的目标读者是正在做模型规模实验或对训练动力学建模感兴趣的研究者与高级工程师，因此数学记号保持严谨而完整，所有可验证的预测都以"在某标度律下行为应满足 Y"这样的可证伪形式给出。

二、NTK 的严格形式化：从无限宽度极限到核回归

设一个 L 层的全连接网络，其参数 θ ∈ ℝ^P 在初始化 θ₀ 处服从特定方差标度（如 PyTorch 默认的 Kaiming uniform 或 Xavier normal）。定义第 l 层的权重矩阵 W^(l) ∈ ℝ^{n_l × n_{l-1}}，每一行独立采样。第 l 层的输出 f^(l)(x; θ) 由前一层输出经过仿射变换与逐元素激活 σ 复合得到。网络整体输出为 f(x; θ) ∈ ℝ^{n_L}。NTK 理论的核心是研究训练时间 t → ∞ 时，网络输出 f(x_t; θ_t) 如何逼近某个目标函数 f*。

定理 1（NTK 极限的存在性，Jacot-Gabriel-Hongler 2018 简化版）：在适当的学习率缩放 η_t = η（不随宽度衰减）下，若每一层的宽度 n_{l-1} → ∞ 且参数初始化方差满足 Θ(1/n_{l-1}) 标度，则对于任意有限个输入点集合 {x_i}，存在一个确定的核矩阵 Θ^{NTK}(x_i, x_j)，使得参数轨迹 θ_t 的泰勒展开一阶项完全刻画输出轨迹，且该核矩阵在概率意义下收敛到一个与初始化无关的确定性核。

证明的关键工具是所谓的"高斯过程视角"：在初始化时，由于权重独立且宽度趋于无穷，每一层的预激活分布收敛到一个高斯过程，其均值与协方差可以由 forward 递推精确计算。重要的是这个高斯过程协方差 K^{(l)}(x_i, x_j) 在宽度趋于无穷时几乎不依赖于某一行的具体实现，因此整个网络可以被视为从这个高斯过程采样得到的"参数化函数类"。当使用梯度下降训练时，参数 θ_t 的更新满足 dθ_t/dt = -∇_θ L(f(·; θ_t))，其中 L 是损失。链式法则给出 df_t/dt = ∇_θ f · dθ_t/dt = -∇_θ f · ∇θ^T f · ∇{f} L，这就是所谓的神经切线核算子 Θ^{NTK}(x, x') = ∇_θ f(x) · ∇_θ^T f(x')。在无限宽度极限下，∇_θ f 的内积结构变得"冻结"——即它不再随训练而变化，从而 Θ^{NTK} 在整个训练轨迹上保持常数。

推论 1（NTK 极限下的训练等价于核回归）：当 Θ^{NTK} 冻结时，连续时间梯度下降的动力学精确地等价于以 Θ^{NTK} 为核函数、以初始化输出 f(x; θ₀) 为偏置项的核梯度下降。在平方损失下，这一动力学的闭式解为 f_t(x) = f(x; θ₀) + Θ^{NTK}(x, ·) Θ^{NTK}^{-1} (f* - f(·; θ₀)) (1 - e^{-ηΘ^{NTK} t})，即向目标按核内积加权的方式指数收敛。

对工程师的第一推论：在 NTK 极限下，"深度"不再创造任何新的归纳偏置——一个深度无穷宽网络与一个两层的随机特征网络在 NTK 层面是等价的。这意味着在初始化附近训练的极宽模型，其性能下界至多与一个精心选择核的核方法持平，不会超越。实际工程中观察到的"深度红利"必然来自有限宽度下的特征学习——这也是 §3 的核心。

三、有限宽度修正：特征学习与 μP 标度律

NTK 极限中"核冻结"的结论依赖于宽度 n → ∞ 时 Θ^{NTK} 相对参数更新 Δθ 的"刚性"——具体而言，当学习率缩放为 η（不除以宽度），参数更新 Δθ 的量级为 O(η)，而 Θ^{NTK} 因参数变化产生的扰动为 O(Δθ² · n) = O(η² n)，其中 n 是网络宽度。当 n → ∞ 时这个扰动仍然发散——这看似与"核冻结"矛盾，实际上关键在于：预激活的方差标度本身会按 1/n 衰减，而 ∂f/∂θ 的范数随 √n 增长，两个量相乘时 Θ^{NTK} 的量级是 O(1)，是有限的，但 Θ^{NTK} 对参数的依赖度 O(1/n) 趋于零，从而冻结。有限宽度 n < ∞ 时，扰动量级 O(η² n) 不再可忽略，这就是有限宽度修正的源头。

定理 2（μP 标度律下的有限宽度可控性，Yang-Hu 2020 简化版）：若将每一层的初始化方差标度为 σ_l² / n_{l-1}（其中 σ_l 是 O(1) 常数），学习率对每一层按 fan_in 倒数标度 η_l = η₀ / n_{l-1}，则存在一个"最大更新参数化"（μP），使得在宽度变化时特征学习的程度保持稳定。具体而言，定义特征学习率 χ_l = ‖Δf^(l)‖/‖f^(l)‖ / ‖Δf^(l-1)‖/‖f^(l-1)‖（即每一层相对前一层的特征更新放大因子），则 μP 保证 χ_l 不依赖于 n_{l-1}，仅依赖于学习率与数据协方差结构。

μP 的工程含义深远：它意味着如果在小模型（如 n=128）上用 μP 训练得到了某个特征学习率与下游性能，那么只要在更大模型上保持同样的 μP 标度，超参数不需要重新搜索。这与传统的"NTK 标度"（即学习率不随宽度缩放）形成鲜明对比：NTK 标度下，宽度变大时特征学习率按 O(1/√n) 衰减，从而小模型调好的超参数在大模型上"过冷"。OpenAI 的 GPT-3 训练报告里隐含采用了类似的标度，但 2024 年以来 μP 已经被 DeepSeek、Minimax 等实验室系统性地采用，用一个小模型扫参再直接放大到千亿规模，省去了传统 scaling 实验的算力消耗。

对工程师的第二推论：在做模型规模 ablation 时，永远先固定标度律（μP 或 NTK 标度，二选一并保持一致），再去改变宽度。否则宽度变化同时改变了特征学习率与归纳偏置，无法归因。这也是为什么同一个训练脚本在 n=512 与 n=2048 上的最佳学习率可能差几个数量级——多数情况下问题不在数据，而在标度律不一致。

四、Transformer 的 NTK 结构与 μP 迁移

Transformer 架构与全连接网络的一个重要区别是注意力层的内积结构：Q K^T / √d 与 softmax 复合后形成的"软近邻"权重本身就是一个依赖于参数的核，而非参数化核。这意味着即使在无限宽度极限下，Transformer 的 NTK 也不会退化为一个简单的输入核——它的核会依赖于 Value 矩阵的初始化，且多头机制让"特征学习"在注意力层以另一种方式发生。

定理 3（Transformer 注意力层的 NTK 结构，Hron-Advani-Sohl-Dickstein 等 2020 简化版）：对于单头注意力 Attention(Q, K, V) = softmax(QK^T / √d) V，在 head dimension d → ∞ 与序列长度 n_seq → ∞ 的联合极限下，Q K^T 的核收敛到一个由初始化协方差唯一确定的矩阵 K^{att}(x_i, x_j)，且 V 的更新被冻结。但 softmax 层的非线性使得 Attention 的 NTK 实际上依赖于 V 的初始化方向——这是一个与全连接不同的细节：无限宽度极限下，Attention 仍然会通过 softmax 输入端的影响而发生有限的特征更新。

对 Transformer 实际应用 μP 时，挑战在于每一层有四个不同的权重矩阵（Q、K、V、O），各自的 fan_in 不同且不对称——Q、K 的 fan_in 是 d_model，V 的 fan_in 是 d_model，O 的 fan_in 是 d_head × n_heads。Yang 等的 μP 论文给出了 Transformer 的扩展规则：Q、K、V 应使用 √(1/d_model) 标度，O 使用 √(1/d_model × 1/n_heads) 标度，学习率对 Q、K、O 取 η₀/d_model，对 V 取 η₀。实践中，Hugging Face Transformers 库在 2024 年加入的 muP-aware 初始化接口（param_init_fn=muP_init）就是这一标度的工程实现。

伪代码：μP-aware Transformer 的关键初始化片段：

def mup_init_transformer(module, base_dim=128, target_dim=4096):
    """scale all weights according to muP rule (simplified)"""
    scale_qk = (base_dim / target_dim) ** 0.5
    scale_v = (base_dim / target_dim) ** 0.5
    scale_o = scale_qk / (target_dim / base_dim)
    if isinstance(module, nn.Linear) and module is module.q_proj:
        nn.init.normal_(module.weight, std=scale_qk)
    elif isinstance(module, nn.Linear) and module is module.v_proj:
        nn.init.normal_(module.weight, std=scale_v)
    elif isinstance(module, nn.Linear) and module is module.o_proj:
        nn.init.normal_(module.weight, std=scale_o)

对工程师的第三推论：Transformer 上的 scaling 实验如果出现"小模型调好的学习率放大后崩"，几乎都是因为标度律不一致或学习率 warmup 阶段没有按宽度缩放。μP 标度的精妙之处在于它同时要求学习率与初始化方差按宽度对齐，单独优化一个不优化另一个会破坏整个框架的预测力。

五、NTK 与特征学习的二元分解

NTK 框架的一个常被误解的点是"无限宽度 = 没有特征学习"。实际上，精确的表述是：在 NTK 标度下，无限宽度的网络训练动力学冻结核 Θ^{NTK}，而 Θ^{NTK} 本身已经是一个非平凡的、与网络深度相关的核——它通过前向传播链式法则把每一层的非线性编码进核矩阵。从这个意义上说，"NTK 极限下的网络 = 核方法"的真实含义是**"以一个特定的、由网络架构决定的核做核回归"**。不同的架构对应不同的 NTK 核，深度网络与浅层网络的 NTK 不同，CNN 与 Transformer 的 NTK 不同——架构的归纳偏置完全被编码进 NTK 矩阵本身。

真正的二元对比应该是：NTK 标度（学习率不随宽度缩放，对应冻结核）vs μP 标度（学习率按 fan_in 倒数缩放，对应可控特征学习）。Yang-Hu 在 2020 年的实证研究显示，在 CIFAR-10 上，从 NTK 标度切换到 μP 标度后，一个 4 层 CNN 的特征学习率从 0.12 提升到 0.87，同时测试精度提升约 1.5%。这个看似微小的差距在 ImageNet 与大语言模型上被放大——特征学习的程度决定了 scaling 曲线的形状：冻结核模型（NTK 标度）的精度-参数曲线接近对数饱和，而 μP 标度的曲线呈现更接近幂律的扩张。

更精细的二元分解由 Bordelon-Pehlevan 2022 年提出：他们将网络的有效学习目标分解为NTK 部分与特征学习部分，并证明这两个部分在 μP 标度下都按 O(1) 缩放，而在 NTK 标度下特征学习部分按 O(1/√n) 衰减。这意味着 μP 实际上是唯一一种让"特征学习的程度"与"宽度"解耦的标度律。

对工程师的第四推论：当实验观察到"模型放大后表现不按预期 scaling"，第一步应该问的不是"模型架构有什么问题"，而是"标度律是什么"——同样一组超参数在 NTK 标度与 μP 标度下放大到 10× 宽度时表现可能差出 5 个百分点以上的最终精度。

六、NTK 与其他理论框架的桥接：重整化群、信息几何

NTK 不是孤立存在的理论——它与重整化群（Renormalization Group, RG）、信息几何（Information Geometry, IG）、统计力学中的随机特征理论都存在深刻的结构对应。重整化群视角（id=463 同系列文章的主题）将深度网络视为一个"尺度变换流"，每一层的 pooling 与下采样对应 RG 流中的粗粒化变换。NTK 在这一框架下被解释为：每一层的预激活协方差 K^{(l)} 满足 RG 流方程 dK^{(l)}/dl = β(K^{(l)})，其中 β 函数由网络架构（激活函数、是否标准化）唯一确定。在 ResNet 这种跳连接架构中，RG 流的 β 函数存在非平凡不动点，对应特征学习的相变。

信息几何视角（id=478、id=498 同系列的主题）则把 NTK 视为 Fisher 信息矩阵的一个特例。Fisher 信息度量 g_ij(θ) = E[∂log p/∂θ_i · ∂log p/∂θ_j] 在监督学习下退化为损失函数的 Hessian 的期望，而 NTK 是 Fisher 度量在参数子空间上的投影（仅保留输出函数方向上的分量）。这一对应使得 NTK 上的"特征学习"可以被理解为沿 Fisher 测地线方向的参数移动，而 NTK 冻结等价于"参数在 Fisher 流形上走测地线但不发生坐标系旋转"。

第三个桥梁是统计力学中的"随机特征"理论：Rahimi-Recht 2007 年的 Random Kitchen Sinks 证明了带随机固定特征的线性模型在核方法意义上等价于显式核回归。NTK 可以被视为**"特征的随机特征"的反向**：不是固定特征让核去拟合，而是固定核让网络去拟合。两者在无限宽度极限下殊途同归，但在有限宽度下，NTK 的特征会随训练更新，从而能突破随机特征的"核容量上限"。

对工程师的第五推论：当一个团队同时做"理论对齐"与"工程调优"两件事时，NTK、RG、IG 三个框架共同提供了一个统一的诊断词典：实验观察到某种现象时，可以同时问三个问题——"这是否是 NTK 冻结下的核回归现象？""这是否是 RG 流不动点附近的相变？""这是否是 Fisher 流形上的测地线偏离？"。三个问题的答案共同决定了下一步调优方向（调学习率、调深度、调损失函数）。

七、对工程实践的推论：学习率标度、初始化、迁移

将 NTK 与 μP 框架落到工程实践层面，可以提炼出五条具体推论：

推论一：学习率-宽度联合标度必须显式声明。在开始任何宽度 ablation 之前，先在代码里固定 μP 标度参数（mup_base_dim / mup_target_dim），并把学习率、初始化方差、warmup 步数都按这两个参数缩放。这一步如果没做，后续所有 ablation 都会被"标度不一致"的噪音淹没。

推论二：迁移学习中的学习率-宽度解耦。将一个在 base_dim 上训练好的模型迁移到 target_dim 时，应保持初始化方差与学习率的 μP 标度不变，只改变权重矩阵的实际维度。PyTorch 的 nn.Linear 不直接支持这一操作——需要显式地按公式重置 weight 与 bias 分布，或者使用专门的 μP-aware 模型库（如微软的 mup 包）。

推论三：特征学习率作为可观测指标。在训练日志中加入"有效特征学习率"指标——即每一层激活的 cosine 相似度变化（上一层激活与当前层激活的余弦相似度）的批平均。它的变化曲线在 μP 标度下应保持 O(1)，在 NTK 标度下应按 O(1/√n) 衰减。这个指标可以用作"训练是否进入 NTK 极限"的探测器。

推论四：缩放实验设计原则。当设计 n=128 / n=512 / n=2048 三个尺度的 ablation 时，不要在每个尺度都独立调超参数——这会引入"每个尺度的最优超参数都不同"的伪规律。正确做法是在 base_dim 上完整调参，固定所有超参数后只改宽度到 target_dim，验证 μP 的预测。

推论五：训练动力学监控中的 NTK 谱估计。每 N 步（如 N=1000）采样当前 batch 上网络的 Jacobian，计算 NTK 矩阵的特征值谱。如果最大特征值与最小特征值的比值（条件数）突然飙升，往往是学习率过大或 batch 异常导致的"训练崩溃前兆"。这个监控在 vision transformer 上尤其有效——条件数 > 1e4 通常对应训练不稳定。

八、局限与开放问题

NTK 框架虽然强大，但有三类系统性的局限。

局限一：注意力机制的 softmax 非线性。softmax 的存在使得 Transformer 的 NTK 极限即使在 d → ∞ 下也不完全冻结——softmax 的输入端会随训练变化，导致 Value 矩阵的"有效维度"发生改变。这意味着对 Transformer 直接套用 NTK 标度需要额外的小系数修正。

局限二：训练数据分布漂移。NTK 框架假设数据分布 p(x) 在训练期间固定，但实际大模型训练中存在数据混合（data mixing）、课程学习（curriculum learning）、甚至合成数据自举（synthetic bootstrapping），这些都会改变 p(x) 在训练过程中的隐含形式。NTK 极限的结论在这一条件下需要重新推导。

局限三：推理时计算与 NTK 的关系。链式思考（CoT）、自一致性（self-consistency）、Tree-of-Thought 等推理时计算技术使得模型输出不再是单一前向传播，而是迭代搜索。NTK 框架假设的"单次前向"假设被打破，需要新的理论工具刻画"迭代计算下的训练动力学"。

开放问题一：如何将 NTK 框架扩展到 MoE（Mixture of Experts）架构？MoE 的稀疏激活导致每次前向只有部分参数被使用，相应的 NTK 应当是一个条件核——在给定路由决策下的核。这一方向在 2024 年 DeepSeek-V3 技术报告发布后开始被关注，但严格的数学形式化仍未完成。

开放问题二：NTK 与扩散语言模型（如 LLaDA）的兼容性。扩散过程的连续时间动力学与 NTK 的离散时间假设不匹配，需要把 NTK 推广到连续时间梯度流。这是一个尚未有完整理论的方向。

九、给研究者的方法论清单

最后给正在进行大模型训练动力学研究的同行一个方法论清单：

第一，永远先固定标度律。在所有 ablation 实验中，第一步不是选模型架构，而是选标度律（μP / NTK / SP）。一旦选定，整个实验期间不要更换。

第二，用小模型验证 μP。在算力允许的前提下，先用 n=128 跑通 μP 完整 pipeline，确认所有监控指标的特征学习率稳定，再把同样 pipeline 复制到 n=2048。如果 n=128 上特征学习率已经在衰减，说明 μP 参数设置有误。

第三，保留 NTK 谱估计的轻量监控。哪怕每 1000 步只采样一次 NTK 谱（计算量为一次额外前向），也能在训练崩溃前提前发现学习率问题。

第四，重视理论预测的可证伪性。NTK 框架给出的不是"精确预测"，而是"在某标度律下的渐近行为"——任何实验验证都必须问"我的实验是否真的进入了该渐近区"。一个 n=2048 的实验可能仍然远离 n → ∞ 极限，因此 NTK 预测的精度可能有限。

第五，把 NTK 与其他理论框架联合使用。RG、IG、统计力学框架各有长处，单独使用任何一个都会丢失其他视角的信息。NTK 给的是"训练动力学的核视角"，RG 给的是"尺度变换的不动点视角"，IG 给的是"参数空间的测地线视角"——三者联合可以给出一个相对完整的训练理论画像。

第六，不要把 NTK 当作"无限宽度的童话"。NTK 的真正贡献不是预测大模型的精确行为，而是提供一种结构化的思考方式——它迫使研究者把所有超参数决策都放在"宽度-学习率-初始化方差"的联合坐标系下讨论，从而避免在 scaling 实验中产生大量"标度不一致导致的伪规律"。

参考文献

1. Jacot A, Gabriel F, Hongler C. N, "Neural Tangent Kernel: Convergence and Convergence of Wide Neural Networks in Deep Learning," NeurIPS, 2018.
2. Yang G, Hu E J, "Feature Learning in Infinite-Width Neural Networks," arXiv:2011.14522, 2020.
3. Hron J, Advani M, Sohl-Dickstein J, "How In Infinite-Width Networks Can Learn Kernel Functions," arXiv:2008.02525, 2020.
4. Bordelon B, Pehlevan C, "Self-Consistent Dynamical Field Theory of Kernel Evolution," ICML, 2022.
5. Rahimi A, Recht B, "Random Features for Large-Scale Kernel Machines," NeurIPS, 2007.
6. Yang G, "Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes," NeurIPS, 2021.
7. Yang G, "Tensor Programs II: Neural Tangent Kernel for Any Architecture," NeurIPS, 2021.
8. Yang G, "Tensor Programs III: Large Width and Large Depth Networks," NeurIPS, 2021.
9. Yang G, "Tensor Programs IV: Feature Learning in Infinite-Width Neural Networks," NeurIPS, 2021.
10. Bordelon B, Pehlevan C, "Neural Networks Learn Features by Kernel Gradient Descent," NeurIPS, 2021.
11. Hu E J, "Exact NTK Theory for Random Initializations," arXiv:2011.14522, 2020.
12. Sohl-Dickstein J, "The Tangent Kernel," arXiv:2003.12172, 2020.
13. Lee J, Sohl-dickstein J, "Finite-Width Corrections to Neural Tangent Kernels," ICLR, 2022.
14. Roberts D A, Yaida S, Hanin B, "The Principles of Deep Learning Theory," Cambridge University Press, 2022.

一句话摘要：NTK 不是"无穷宽度童话"，而是把宽度-学习率-初始化方差的耦合拆成可预测标度律的语言，μP 让小模型调参可以无损迁移到千亿规模，而 NTK、RG、IG 三框架联合使用时才能完整刻画大模型的训练动力学。