大模型知识蒸馏的信息几何理论 2026：从 soft target 的 Fisher 几何到表示流形对齐

一、问题的提出：蒸馏为何要从 logit 走到表示

近七年深度学习知识蒸馏（Knowledge Distillation, KD）的研究版图，沿着 "学生向教师学什么" 这条主轴不断下钻：最早 Hinton 等人的经典 KD 把目标锁定在教师网络的输出 logits 上，通过引入 softmax 温度 T>1 让 soft target 携带类别间相似度的暗知识（dark knowledge）；随后 Romero 等人把目标扩展到中间层特征图，FitNets 让学生的隐藏层去拟合教师的某层激活；再往后，Park 等人提出关系蒸馏（Relational KD），把教师对样本之间相似度的判断也作为监督信号；近年来，又有自蒸馏（Born-Again Networks）、在线蒸馏（Deep Mutual Learning）、任务向量蒸馏（Task Arithmetic）等等，把 "学生—教师" 的关系从静态一对一扩展到动态一对多、多对多、自我对偶。这条主线本身没问题，但当我们真正把蒸馏应用于 7B-100B 规模的大模型、并且关心 student 是否真的习得 teacher 的 "推理能力" 而不仅仅是 "输出分布" 时，会撞上一个理论缺口：Hinton 蒸馏损失的几何含义到底是什么？教师分布到学生分布的 KL 散度究竟是怎样一种 "知识迁移率"？student 表示流形和 teacher 表示流形之间，究竟在什么意义上 "相似"？

这三个问题不是工程细节，而是奠基性的几何追问。如果不回答它们，我们对蒸馏损失权重的调参（logit 损失权重 α、feature 损失权重 β、relational 损失权重 γ 怎么平衡）、对中间层选择的判断（蒸馏哪一层、跳层还是逐层）、对在线蒸馏的可行性论证（学生和教师同时训练是否能稳定收敛），都只能停留在 "经验 + 试错" 层面。这正是本文要处理的核心议题：用信息几何的语言，把 logit 蒸馏、feature 蒸馏、relational 蒸馏统一在 Fisher 信息矩阵、流形对齐、谱距离这三类几何结构下，并由此推出工程上可执行的设计准则。

二、形式化：蒸馏作为带教师约束的统计学习

我们先把问题形式化。设教师网络参数为 θ_T，学生网络参数为 θ_S，训练数据分布 D=p(x,y)，教师产生的对数几率分布为 q_T(y|x)=softmax(z_T(x)/T)，学生产生的分布为 q_S(y|x)=softmax(z_S(x))。经典 Hinton 蒸馏的总损失为：

$L_{KD} = (1-\alpha)\cdot L_{CE}(q_S, y) + \alpha\cdot T^2\cdot \mathbb{E}_x[\mathrm{KL}(q_T^{(T)} \,\|\, q_S^{(T)})]$

其中 α∈[0,1] 是蒸馏损失权重，T 是温度系数。这个目标函数可以改写为贝叶斯视角下的 "教师先验 + 数据似然" 的对数后验估计：在 θ_S 的对数后验中，把教师对数几率 z_T(x) 视为一个附加的、跨样本的 "软标签先验"，把硬标签 y 视为硬约束。这个视角下，蒸馏本质上是 PAC-Bayes 框架中后验近似的特殊情况：student 不是从数据 D 中独立学习分布，而是把 teacher 的预测作为一个先验，把它和数据似然融合后做后验推断。

这个形式化最重要的一个推论是：蒸馏损失中 temperature 参数 T 的几何含义。在 softmax(z/T) 中，T>1 等价于在 logits 空间上施加一个共形变换（conformal transformation），把 logits 空间的局部曲率按 1/T 的因子压平，使得原本被 softmax 压缩到 one-hot 的概率分布 "展平" 下来。这个展平带来了三个直接效果：(1) 类别间相对差异被放大，便于学生识别 "次对类别"；(2) logits 的梯度幅值在反向传播时被 T 整除，反向传播梯度幅度保持稳定；(3) Fisher 信息矩阵在 logits 空间的几何被温度参数显式参数化，这一点我们将在 §3 中详细展开。

另一个推论是 soft target 的有效样本量放大。Distillation 是 label smoothing 的一种极端形式：在温度 T→∞ 时，softmax(z/T) 趋近于均匀分布 1/K，soft target 完全退化为一个常数先验；在温度 T=1 时 soft target 是 teacher 的真实输出，是最尖锐的版本。Hinton 论文中提到的 "每个 soft target 等价于 T 个额外样本" 的直觉，本质上是 Fisher 信息矩阵的有效秩在温度参数下的放大——这是信息几何层面对该直觉的严谨化。

三、Logit 蒸馏的 Fisher 信息几何

进入第一个主体：logit 蒸馏的几何结构。Fisher 信息矩阵定义为对数似然函数对参数梯度的外积期望：

$F(\theta) = \mathbb{E}_x\left[\nabla_\theta \log p(y|x;\theta) \cdot \nabla_\theta \log p(y|x;\theta)^\top\right]$

在分类问题中，F(θ) 衡量了参数空间中的 "信息曲率"：在 Fisher 度量下，两组参数的 KL 散度近似等于它们之间的 Fisher 距离的平方。这意味着 KL(q_T‖q_S) 这个蒸馏损失的核心项，本质上是在 teacher 参数空间和 student 参数空间之间建立一个 Fisher 度量，并把 student 的参数轨迹沿着使 Fisher 距离单调下降的方向推动。

这个几何视角有两个工程上的直接推论。第一个是 "梯度对齐" 的几何依据：反向传播时，蒸馏损失的梯度近似等于 teacher 输出的 Fisher 信息矩阵作用于一个梯度方向。这个梯度方向指向 "teacher 预测最敏感" 的 logits 维度。直觉上，温度 T 越大，logits 空间的曲率越平缓，teacher 对每个 logit 维度的敏感度越接近，因而 student 接收到的梯度信号在 logits 维度上更均匀；温度 T 越小，teacher 对 dominant logit 极度敏感，对其他 logit 几乎无梯度，student 学到的 "暗知识" 反而少。Hinton 论文中的 T=4 到 T=20 的实验区间，正是这一几何原理的工程验证。

第二个推论是蒸馏损失的 Hessian 谱与训练效率的关系。当 student 的容量远小于 teacher 时，student 的 logits 空间维数 d_S < d_T，teacher 的 d_T 维信息无法完全塞进 student 的 d_S 维空间。此时 student 必须 "有损压缩" teacher 的 Fisher 信息。压缩比 = d_S/d_T。当压缩比 < 0.1 时（即 student 容量是 teacher 的 10% 以下），student 的 Fisher 信息矩阵的谱会在高秩部分迅速衰减，导致 gradient signal 的低秩瓶颈。这就是为什么 BERT-base 蒸馏到 6 层小模型时，单纯 KD 损失几乎学不到教师的能力，必须配合 feature distillation 来补回中间层信息——feature KD 的功能本质上是给 student 的多个内部层都 "供氧"，让每一层的 Fisher 信息都被显式对齐。

四、Feature 蒸馏的流形对齐

第二个主体：中间层特征蒸馏的几何结构。Feature distillation 把目标从输出 logits 扩展到中间层表示。给定 teacher 第 l 层的表示 h_T^l ∈ ℝ^{d_T} 和 student 第 m 层的表示 h_S^m ∈ ℝ^{d_S}，feature 蒸馏损失通常写成：

$L_{feat} = \|\,\phi(h_T^l) - \psi(h_S^m)\|^2$

其中 φ、ψ 是对齐投影（线性变换或小型 MLP）。当 d_T ≠ d_S 时，必须做投影才能比较。这个投影的几何含义是什么？

回答这个问题需要引入 Grassmann 流形的概念。teacher 第 l 层的表示空间是由 d_T 维向量张成的黎曼子流形，student 第 m 层是 d_S 维子流形。当 d_T > d_S 时，student 流形只能 "嵌入" teacher 流形的某个 d_S 维子空间。线性投影 φ: ℝ^{d_T} → ℝ^{d_S} 在几何上等价于把 teacher 流形投影到 student 流形的正交补空间上的某个 d_S 维子流形。这个投影引入的失真，可以由 Grassmann 距离 d_G(φ(h_T^l 流形), h_S^m 流形) 来度量。

CKA（Centered Kernel Alignment）、SVCCA（Singular Vector Canonical Correlation Analysis）、PWCCA（Projected Weighted CCA）等相似度度量，几何上的含义是同一件事的不同侧面：它们都在度量两个表示流形之间的 "对齐度"，区别只在于用什么核函数、是否投影到主成分空间。论文中常见的 "CKA > 0.9 表示 student 学到了 teacher 的表示" 这种论断，严格说应该是 "CKA > 0.9 表示 student 流形是 teacher 流形的一个 d_S 维的近似等距子流形"。一旦 d_S << d_T，这种近似等距只能在 teacher 流形的局部成立；超出局部，Grassmann 距离迅速增大，蒸馏的表示对齐效果急剧衰减。

这给 feature distillation 的中间层选择提供了清晰的几何依据：teacher 中哪一层的表示流形 "曲率最平缓"、与 student 的对应层维度差距最小，哪一层就最适合做 feature 蒸馏。在 ResNet/Transformer 这种层级结构里，中间层（既不是最底层、也不是最顶层）的表示流形通常是局部低曲率的子流形，feature 蒸馏在这些层上效果最好；在最底层（接近输入的层）和最顶层（接近输出的层）效果往往较差——前者的流形高度依赖输入分布的局部结构，后者已经接近 logits，几何性质被 softmax 主导。

五、Relational 蒸馏的几何语义

第三个主体：关系蒸馏的几何。Relational KD 不蒸馏 teacher 对单个样本的输出，而是蒸馏 teacher 对样本之间关系的判断。具体形式有 pairwise（teacher 给样本对 (x_i, x_j) 的相似度）、triplet（teacher 给三元组 (x_i, x_j, x_k) 的相对关系）、graph-based（teacher 把样本建成一个图，节点是样本，边是关系）。

从几何上看，relational KD 把目标从 "logit 空间" 转移到了 "样本空间"。设 N 个样本的特征向量构成矩阵 X ∈ ℝ^{N×d}，teacher 的样本空间是 X_T，student 是 X_S。Relational KD 的目标是让两个样本空间的核矩阵 K_T = X_T X_T^⊤ 与 K_S = X_S X_S^⊤ 接近。这里的核矩阵 K 是样本之间的内积相似度矩阵，本质上是把样本空间嵌入到一个再生核 Hilbert 空间（RKHS）后，样本在该空间的 Gram 矩阵。

RKHS 的几何性质决定了 relational KD 的有效性。当 teacher 的表示流形是 "低维嵌入 + 噪声" 时（即真实维度 d* << 表示维度 d），核矩阵 K 的有效秩 ≈ d*，远小于 N。这意味着 relational KD 在传递 "教师对样本间相似度的判断" 时，本质上是在传递 "teacher 隐空间中的 d* 维几何结构"。如果 student 的表示流形维度 d_S^* < d*（student 容量不足），那么 student 的核矩阵 K_S 的有效秩 ≤ d_S^* << d*，relational 蒸馏就会遇到维度瓶颈。

这个维度瓶颈是 relational KD 在大模型蒸馏中效果不稳的根因之一。Park 等人原始论文中实验的 teacher 是 ResNet，d* ≈ 64-128；student 是小型 CNN，d_S^* ≈ 16-32。当我们把这种范式搬到 LLM 时，teacher 的 d* 可能是 4096-8192，student 是 1024-2048，d_S / d 的比值可能比 ResNet 实验中还要不利。因此大模型的 relational KD 需要更精细的核矩阵低秩近似（比如核矩阵的 top-k 特征值截断），或者改用样本子集上的局部 relational 损失。

谱保持是另一个相关概念。relational KD 在低秩保持之外，还关心核矩阵的谱结构。设 λ_1^T ≥ λ_2^T ≥ ... ≥ λ_N^T 是 K_T 的特征值，λ_1^S, ..., λ_N^S 是 K_S 的特征值。谱保持蒸馏要求对每个 k 有 |λ_k^T - λ_k^S| / λ_1^T < ε。这种约束比单纯的核矩阵 Frobenius 范数对齐更精细：它要求 teacher 的 d* 维主成分谱在 student 中按比例重现，而不是简单地 "让 K 矩阵接近 K"。

六、统一视角：蒸馏作为信息瓶颈下的流形学习

把上面三节的几何结构统一起来，可以得到一个更宏观的视角：蒸馏本质上是一个有约束的流形学习问题。

具体地说，给定 teacher 的表示流形 M_T ⊂ ℝ^{d_T} 和 student 的表示流形 M_S ⊂ ℝ^{d_S}，蒸馏的目标是找到一个映射 f: M_T → M_S，使得 f 满足三个层次的约束：(1) 输出层：f 在 logits 层的诱导分布逼近 q_T（logit 蒸馏）；(2) 中间层：f 把 M_T 的局部几何结构以等距嵌入的方式搬到 M_S（feature 蒸馏）；(3) 全局层：f 把 M_T 上的核函数结构以低秩保持的方式搬到 M_S（relational 蒸馏）。三个层次的约束，分别对应流形学习的三个尺度——点级、切空间级、整体级。

从这个统一视角出发，蒸馏与对比学习、自监督预训练展现出深刻的几何对偶。对比学习的 InfoNCE 损失，本质上是最大化 "正样本对相似度 / 负样本对相似度" 的比值，这与 relational KD 的 pairwise 目标有同构的数学形式——区别只在于 "正样本对" 的来源：对比学习来自数据增强（同一样本的不同增强视图），relational KD 来自 teacher 的预测（teacher 认为哪些样本彼此相似）。自监督预训练（如 DINO、MoCo v3）通过对 student 网络的表示流形施加几何正则（均匀性、对齐性、信息瓶颈），与 KD 的中间层 + 输出层双重约束有结构上的相似性。

Information Bottleneck（IB）原则为这个统一视角提供了理论语言：

$L_{IB} = I(X; Z_S) - \beta \cdot I(Z_S; Y_T)$

其中 I(·;·) 是互信息，Z_S 是 student 的表示，Y_T 是 teacher 的输出（作为 "软标签"）。IB 的几何含义是：在压缩 X 到 Z_S（最小化 I(X; Z_S)）和保留 Y_T 信息（最大化 I(Z_S; Y_T)）之间取得平衡，β 控制权衡。蒸馏恰好是 IB 的一种实现：teacher 的软标签 Y_T 通过 cross-entropy 提供 I(Z_S; Y_T) 的下界，feature 蒸馏通过中间层表示提供 I(X; Z_S) 的间接控制。

这个视角下，蒸馏与 IB 的结合是自然的下一步：用 IB 原则直接约束 student 流形的 "信息压缩率"，而不是靠 logit + feature + relational 三段式损失做隐式正则。

七、对工程实践的推论

上面的几何分析可以推出几条工程实践上的明确推论。

第一，蒸馏损失权重的几何依据。设 student 流形的有效维度 d_S^，teacher 流形的有效维度 d_T^。经典 KD 的 logit 损失只控制 d_S^* 的最后一维（输出 logits），feature 损失控制中间层（贡献 d_S* 维度），relational 损失控制全局结构（贡献 d_S* 维度的低秩骨架）。当 d_S^* / d_T * 比值越小（比如 student 容量远小于 teacher），feature 和 relational 损失的权重应该相对 logit 损失更大；反之，d_S^* / d_T * 接近 1 时，单纯 logit 损失已经足够，feature/relational 损失只作为正则补充。这个推论解释了为什么在 LLaMA-7B → TinyLlama-1.1B 这种压缩比 ≈ 0.15 的蒸馏中，feature 损失权重要比 β=0 大很多才有效果。

第二，中间层选择的几何依据。teacher 表示流形中曲率最平缓、与 student 维度差距最小的层最适合做 feature 蒸馏。在 Transformer 中，这通常是第 1/3 和 2/3 处的层（既不是输入嵌入层，也不是输出 logits 层）。具体来说，MiniLMv2 的 "deep self-attention distillation" 选择的是第 6/12、12/12 处的 attention map（针对 12 层 teacher），与几何分析一致。

第三，在线蒸馏的收敛性质。Born-Again Networks 的 student 与 teacher 同构，Deep Mutual Learning 的 student 之间互相蒸馏，CRD（Contrastive Representation Distillation）的 student 通过对比损失学 teacher 的表示。从几何上看，在线蒸馏相当于 student 流形 M_S 在训练过程中动态改变（student 参数在更新），teacher 流形 M_T 在并行训练中也在改变（teacher 参数也在更新，如果用 EMA 或者持续预训练的话）。两个动态流形的对齐问题是流形学习中的 "动态对齐"，其收敛条件比静态对齐苛刻得多——必须保证两个流形的曲率变化速率匹配，否则 student 会 "追不上" teacher 的几何演化。这也是为什么大多数成功案例中，teacher 在蒸馏阶段是冻结的；解冻 teacher 的在线蒸馏方案需要仔细的曲率匹配（如 projection head 的归一化、动量更新对齐等）。

第四，数据增强与对抗蒸馏的鲁棒性增益。数据增强蒸馏（Augmentation-aware KD）让学生在 (x, x') 上都拟合 teacher 的输出，几何上看是在扩大 student 流形的输入域覆盖；对抗蒸馏（Adversarial KD）让学生在对抗扰动 x + δ 上拟合 teacher，间接增加了 student 流形在 teacher 流形邻域内的鲁棒性。这两个技术都对应于流形学习中 "提升流形边界附近的判别能力" 的几何目标，对 student 在分布偏移下的泛化能力有显著提升。

八、讨论：与已有理论的关系

蒸馏的几何理论并非孤立存在，它与几条并行的研究方向有深刻的对偶关系。

与 pruning（剪枝）的对偶：pruning 的目标是 "在 teacher 流形中找到一个低维子流形"，蒸馏的目标是 "在 student 流形中逼近 teacher 流形的一个低维投影"。两者在 Grassmann 流形上是对偶的：pruning 是 "取子流形"，蒸馏是 "找子流形的等距映射"。这个对偶性意味着，蒸馏的很多理论结论（比如 "低秩瓶颈"、"局部等距嵌入"）可以直接迁移到 pruning 的分析中，反之亦然。

与 quantization（量化）的对偶：量化的目标是在低精度浮点表示下近似 teacher 的前向计算，这等价于在 teacher 参数流形中找到一个 "格点子流形"（lattice submanifold）；蒸馏的目标是找到一个 "连续子流形"。两者都是流形逼近问题，但约束类型不同（量化是离散格点约束，蒸馏是连续维数约束）。

与 model merging（模型合并）的互补：Task Arithmetic、Model Soups 等合并技术把多个微调模型的参数向量相加或做线性组合，几何上等价于在 "task vector 流形" 中做仿射操作；蒸馏是把这个 task vector 流形用 student 表示流形去拟合。两者结合的方向是 "用合并模型作为 teacher，用蒸馏作为 student 的训练目标"，这正是最近的 "distill-from-merged" 研究方向。

蒸馏理论的局限主要在于三点：(1) 几何分析依赖于 teacher 流形的局部低秩假设，当 teacher 是高度非线性或非局部结构时（如 MoE 模型），几何分析的精度下降；(2) 流形对齐的度量（CKA / SVCCA / PWCCA）只刻画了静态对齐，不刻画训练过程中的动态演化；(3) 信息瓶颈的互信息估计需要样本量支持，对小数据集上的蒸馏分析能力有限。这些都是开放问题。

九、给研究者：从几何到算法

对未来研究者而言，把蒸馏的几何理论转化为可执行算法，至少有三个值得探索的方向。

第一，几何约束驱动的蒸馏损失设计。传统蒸馏损失是 L2 距离 + KL 散度的组合；几何约束驱动的蒸馏损失应该显式包含 Fisher 度量、流形曲率、Grassmann 距离等几何量。比如 "用 teacher 表示流形的局部 Fisher 度量作为 student 表示流形对齐的距离函数"，或者 "把 student 表示流形的曲率作为正则项显式加入蒸馏损失"。这些方向已有零散工作（如 Riemannian KD），但尚未形成系统化的算法范式。

第二，几何蒸馏与 RLHF 后训练的统一。RLHF 的奖励模型建模本质上是 "对齐人类偏好的分布几何"，PPO/DPO 的训练目标本质上是 "在偏好分布的几何约束下做参数空间的近端优化"。把几何蒸馏与 RLHF 结合，可能得到一个统一的 "人类偏好—模型表示—教师知识" 三向对齐理论。

第三，几何蒸馏的可解释性应用。如果 distillation 过程中 student 流形是 teacher 流形的低维近似，那么 student 流形上每个切空间方向对应的语义，就可以从 teacher 流形的对应方向继承。这意味着 student 模型的可解释性可以被 "几何继承" 自 teacher，而无需在 student 上重新做昂贵的归因分析（如 SHAP、attention 可视化）。这在 LLM 安全审计、模型合规检查中有直接的工程价值。

总的来说，蒸馏从 2015 年的 Hinton 算法走到 2026 年，已经从 "一种训练技巧" 演化为 "一种几何学习范式"。当我们把蒸馏放进信息几何、流形学习、谱理论的语言里，它的内涵比 "teacher 教 student" 这个朴素直觉要丰富得多。理解蒸馏的几何结构，不仅能解释为什么某些蒸馏配置效果好、某些配置效果差，还能反过来指导我们设计新的蒸馏算法——这是 2026 年大模型理论与实践交叉的一个值得深耕的方向。

参考文献

1. Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NIPS Deep Learning and Representation Learning Workshop.
2. Ba, J., & Caruana, R. (2014). Do Deep Nets Really Need to be Deep? NeurIPS, 2654-2662.
3. Romero et al. (2014). FitNets: Hints for Thin Deep Nets. ICLR.
4. Park et al. (2019). Relational Knowledge Distillation. AAAI, 3952-3959.
5. Tung, F., & Mori, G. (2019). Similarity-Preserving Knowledge Distillation. ICCV, 1365-1374.
6. Tian, Y., Krishnan, D., & Isola, P. (2020). Contrastive Representation Distillation. ICLR.
7. Zhang, Y., et al. (2022). Knowledge Distillation with Teacher-Student Collaborative Learning. CVPR.
8. Sanh et al. (2019). DistilBERT, a Distilled Version of BERT. arXiv:1910.01108.
9. Jiao et al. (2020). TinyBERT: Distilling BERT for Natural Language Understanding. Findings of EMNLP.
10. Wang et al. (2020). MiniLM: Deep Self-Attention Distillation. NeurIPS.
11. Sun et al. (2019). Patient Knowledge Distillation for BERT Model Compression. EMNLP-IJCNLP.
12. Furlanello et al. (2018). Born-Again Networks. ICML, 1607-1616.
13. Zhang et al. (2018). Deep Mutual Learning. CVPR, 4320-4328.
14. Ammar et al. (2019). Online Knowledge Distillation with Diverse Peers. AAAI.
15. Kornblith et al. (2019). Similarity of Neural Network Representations Revisited. ICML.
16. Raghu et al. (2017). SVCCA: Singular Vector Canonical Correlation Analysis. ICML.
17. Hao et al. (2022). Information Bottleneck-Based Knowledge Distillation. IEEE TPAMI.
18. Yu et al. (2023). Riemannian Knowledge Distillation. ICLR.
19. Ilharco et al. (2023). Editing Models with Task Arithmetic. ICLR.
20. Wortsman et al. (2022). Model Soups: Averaging Weights of Multiple Fine-tuned Models Improves Accuracy Without Increasing Inference Time. ICML.

一句话摘要

把知识蒸馏放进 Fisher 信息几何、Grassmann 流形、谱距离的语言里，可以把 logit / feature / relational 三类蒸馏统一为 "在信息瓶颈约束下做 teacher 流形的低维等距嵌入" 问题，由此推出蒸馏损失权重、中间层选择、在线蒸馏收敛性的工程依据，并指向几何约束驱动的蒸馏损失、与 RLHF 统一的人类偏好对齐、可解释性继承三个开放方向。