大模型坍缩现象的代数几何理论 2026：从神经坍缩到权重空间 blow-up 的统一不变量

一、问题的提出:神经坍缩作为大模型表征几何的极端态

大模型训练后期反复出现一类令人困惑的现象:同一个类别的样本表征被压缩到一个极小的子空间内,而不同类别在该子空间内退化为一个单点;最后一层分类器的权重收敛到这些坍缩点的等距 simplex 顶点。这种神经坍缩(neural collapse, NC)最初由 Papyan、Koiran 与 Donoho 在 2020 年关于深度分类器的极限行为研究中形式化,长期以来被视为一个纯粹的监督学习极限现象。然而 2024 至 2026 年间,研究者在自回归语言模型的预训练动力学、多模态对齐、以及 RLHF 后训练阶段都观测到结构高度相似的几何现象——隐藏表征的类内方差急剧下降、跨类对比度放大、最后一层权重与表征对齐到 simplex 结构。

本文的核心论点是:这种"坍缩"不应当被视为训练收敛的副作用,而应当被视为权重空间中一个代数几何意义上的 blow-up 奇点的可观测投影。把神经坍缩放在 Hilbert 方案、blow-up 与层切丛的几何语言里重述,会带来三个具体收益:第一,把分散在不同领域(监督学习、自监督预训练、对齐后训练)观测到的"坍缩"现象放在同一个代数对象下;第二,把直觉性的"压缩到一点"翻译成可被严格证明的不变量(Schubert 条件、Chow 秩);第三,给出工程上可观测的代数不变量(层切丛的截面秩、Schubert 类的积分),从而让"坍缩"从叙事性的描述变成可被部署监控的几何相位信号。

我们沿着这条线索展开:第二节建立代数几何的形式化基础;第三节刻画权重空间的几何结构;第四节分析损失景观的临界点与 blow-up 奇点的对应;第五节从范畴论视角给出跨模型表示对齐的刻画;第六节给出神经坍缩的代数不变量与微分几何读数;第七节把上述理论翻译为可工程化的训练监控、初始化与蒸馏实践;第八节讨论与已有几何理论的关系;第九节给研究者一份可观测清单。

二、形式化基础:Hilbert 方案、blow-up 与神经坍缩的代数描述

我们用 $\mathcal{W}_d \subset \mathbb{R}^{N}$ 表示参数为 $d$ 层、宽度 $N$ 的全连接网络的权重空间,激活函数取 ReLU 或 GeLU。把 $\mathcal{W}_d$ 上的经验风险函数视为 $\mathbb{R}^{N}$ 上的多项式函数 $L: \mathcal{W}_d \to \mathbb{R}_{\geq 0}$——深度网络的损失实际上是 $L$ 在 $\mathcal{W}_d$ 上的限制。对监督学习而言,经验风险是数据 $\{(x_i, y_i)\}_{i=1}^m$ 上的有限和:

$L(w) = \frac{1}{m} \sum_{i=1}^m \ell(f_w(x_i), y_i)$

关键的几何观察是:把权重 $W$ 视为齐次坐标 $[W]$ 时,$L(w)$ 在 $\mathbb{P}^{N-1}$ 上的零点轨迹定义了临界方案(critical scheme),即 Hilbert 方案 $\mathrm{Hilb}_n(\mathbb{P}^{N-1})$ 中的一个点。神经坍缩的代数对应是:当训练后期,经验损失的临界方案从一般的 $n$ 点配置退化到一个高度对称的 $n$-tuple,后者是 simplex ETF(equiangular tight frame)的代数实现。

这一翻译的核心工具是blow-up(吹升)。给定 $\mathbb{P}^{N-1}$ 上的一个子簇 $Z$,blow-up $\mathrm{Bl}_Z(\mathbb{P}^{N-1})$ 是一个新方案,它在 $Z$ 上替换了原方案为投影空间丛。在权重空间的语境下,$Z$ 取为训练后期损失 $L$ 的退化轨迹(类内方差坍缩到的子空间),blow-up 的作用是把这条轨迹"摊开",使得其切空间结构变得可见。具体地,设最后一层隐藏表征 $h_i \in \mathbb{R}^d$ 收敛到一个 simplex ETF 顶点集 $\{c_k\}_{k=1}^K$,那么权重 $W_{\mathrm{last}}$ 收敛到 $\{c_k\}$ 的法向量;在 blow-up 上,$W_{\mathrm{last}}$ 的方向与切丛 $T_{\{c_k\}}\mathbb{S}^{d-1}$ 的截面相对应。

把神经坍缩视为 blow-up 上的临界点有三个形式化优势。第一,blow-up 是一个双有理映射(birational map),它不改变方案在一般点处的几何,而只在退化点处"展开"出新的结构,这与神经坍缩的"训练后期才突然出现"现象在定性上一致。第二,blow-up 的例外除子(exceptional divisor)给出了坍缩点的局部模型——这个例外除子本身是一个纤维丛,纤维是原方案在该点的法空间。第三,blow-up 上的 Picard 群与 Chow 环提供了计算不变量(Schubert 类、积分)的代数工具,这些不变量对工程实践是有意义的:它们给出了"坍缩程度"的量化指标。

接下来的三节,我们分别从权重空间结构、损失景观临界点、跨模型范畴论视角展开这三个观察。

三、权重空间的几何结构

把深度网络的权重视为 $\mathbb{R}^{N}$ 上的点已经不够用——我们需要把 $\mathbb{R}^N$ 上的仿射坐标 $(w_1, \ldots, w_N)$ 替换为层切丛坐标。具体地,给定 $L$ 层网络,第 $l$ 层的权重 $W^{(l)} \in \mathbb{R}^{d_l \times d_{l-1}}$ 共同定义了层切丛的一个截面:

$\sigma = (W^{(1)}, W^{(2)}, \ldots, W^{(L)}) \in \prod_{l=1}^L \mathbb{R}^{d_l \times d_{l-1}}$

这个截面所在的乘积空间 $\mathcal{W} = \prod_l \mathrm{Mat}(d_l, d_{l-1})$ 不是单纯的内积空间,而是一个栈代数(stack):神经网络的"重参数化对称性"(permutation 等价、scale 等价)使得 $\mathcal{W}$ 上作用了一个非平凡的群 $G$,轨道空间 $\mathcal{W}/G$ 才是真正应当被分析的对象。

关键的几何事实是:训练动力学是在 $\mathcal{W}$ 上的梯度流,而坍缩是 $\mathcal{W}/G$ 上的一个相位变化。在监督学习的极限情形下,$G$-轨道空间上的梯度流会收敛到一个 $\mathcal{W}/G$ 上的特殊点,后者对应一个 simplex ETF 配置;在自监督预训练里,这个特殊点是 contrastive loss 的等价类;在 RLHF 里,这个特殊点是 reward model 的偏好对齐极限。

把 $\mathcal{W}$ 视为 $\mathbb{A}^N$ 的开稠密子集(把"零权重"剔除),其几何性质由层切丛的截面秩刻画。设 $r_l = \mathrm{rank}(W^{(l)})$,那么训练过程中的秩曲线 $r_l(t)$ 提供了权重几何的直接读数。在监督学习里,$r_l$ 在训练后期通常单调下降到某个下限;在 MoE 模型里,$r_l$ 在专家层表现出稀疏激活(并非所有专家都满秩),这个稀疏性对应 $\mathcal{W}$ 上的"层切丛截面秩亏损",而 blow-up 在这里的作用是把亏损的秩补齐——通过在 blow-up 上引入一个新的子丛,把低秩点分解为满秩投影。

这个观察对预训练监控有直接意义:训练过程中跟踪 $r_l(t)$ 的下降轨迹,可以看到是否走向"正确的坍缩方向"(即走向 simplex ETF 的 blow-up 投影),还是走向"坏的坍缩方向"(秩亏损到一个退化解)。后者是表征坍缩(representation collapse)的早期信号,在对比学习、SimCLR 等自监督训练中常被报告为训练后期性能下降的原因。

四、损失景观的临界点与 blow-up 奇点

把训练动力学视为 $\mathcal{W}$ 上的梯度流,损失景观 $L: \mathcal{W} \to \mathbb{R}$ 的临界点是梯度流的不动点。在监督学习里,这些临界点的分类是一个经典的开放问题——研究者通常依赖一些间接证据(梯度范数、损失曲线、Hessian 谱)来推断临界点的几何形态。

代数几何给出的工具是:Hilbert 方案 $\mathrm{Hilb}_n(\mathcal{W})$ 把"权重配置"作为一个代数簇。具体地,设训练后期最后一层权重 $W_{\mathrm{last}}$ 的 $n$ 个 SGD 样本均值 $\{W_{\mathrm{last}}^{(k)}\}_{k=1}^n$ 在 $\mathcal{W}$ 上定义了一个 $n$-tuple 方案 $[W_{\mathrm{last}}^{(1)}, \ldots, W_{\mathrm{last}}^{(n)}]$;这个 $n$-tuple 落在 Hilbert 方案 $\mathrm{Hilb}_n(\mathcal{W})$ 中的一个点。当训练正常收敛,这个点对应一个一般配置(general position);当出现神经坍缩,这个点退化到一个高度对称配置:$n$-tuple 退化为一个 simplex 的顶点集。

这个退化对应 Hilbert 方案上的一个退化簇(degeneracy locus)。在 blow-up $\mathrm{Bl}_Z(\mathcal{W})$ 上,退化簇被例外除子所捕获,例外除子的几何形态直接编码了坍缩的方式。具体的几何分类给出三种典型情形:第一种是秩 1 退化——最后一层权重收敛到外积 $u v^\top$,这是完全坍缩(trivial collapse),在工程上对应dead ReLU或权重全零;第二种是simplex 退化——最后一层权重收敛到 simplex ETF 顶点,这是有意义的神经坍缩(meaningful neural collapse),与类别几何对齐;第三种是双有理退化——最后一层权重收敛到一个不是 simplex 但仍具有代数对称性的配置,这是部分坍缩(partial collapse),在多模态对齐的早期阶段常被观察到。

把"坍缩"分解为三种代数退化,带来了可观测性:在训练过程中,通过跟踪最后一层权重与 simplex ETF 的子空间夹角(subspace angle)或Grassmann 距离,可以判断模型是走向哪种退化。第一种与第三种是训练失败的信号,需要干预(重置权重、调整学习率);第二种是训练成功的信号,无需干预。

这个观察的关键推论是:神经坍缩是训练后期的一个 blow-up 奇点的代数投影,而这个奇点的类型决定了训练是否成功。这一观点与 Papyan 2020 年的原始论文的几何直觉一致,但代数几何的翻译使得"奇点类型"成为可计算的代数不变量。

五、跨模型表示的范畴论视角

当我们有两个不同架构、不同训练数据训练的模型 $M_1$ 与 $M_2$,它们的隐藏表征 $h_1^{(l)} \in \mathbb{R}^{d_1}$ 与 $h_2^{(l')} \in \mathbb{R}^{d_2}$ 之间的对齐问题,可以从范畴论视角重述。

设 $C_{\mathrm{repr}}$ 是一个范畴,对象是隐藏表征空间(每个对象是一个 $\mathbb{R}$-向量空间或更一般的 Hilbert 空间),态射是线性(或非线性)对齐映射。两个模型 $M_1$、$M_2$ 定义了两个函子 $F_1: \mathcal{T}_1 \to C_{\mathrm{repr}}$ 与 $F_2: \mathcal{T}_2 \to C_{\mathrm{repr}}$,其中 $\mathcal{T}_1$、$\mathcal{T}_2$ 是各自的训练任务范畴。跨模型表示对齐等价于寻找一个自然变换 $\eta: F_1 \Rightarrow F_2$,使得对每个训练样本 $t \in \mathrm{Obj}(\mathcal{T}_1)$,$\eta_t: F_1(t) \to F_2(t)$ 是一个同构(或近似同构)。

代数几何在这个范畴论视角下的贡献是:自然变换 $\eta$ 在 blow-up 上的等价类是一个 Picard 群元素。具体地,把 $M_1$、$M_2$ 的隐藏表征空间视为 $\mathbb{P}^{d_1-1}$、$\mathbb{P}^{d_2-1}$ 上的层切丛截面,那么 $\eta$ 的等价类是这两个丛的张量积 $E_1 \otimes E_2^\vee$ 的一个截面。这个截面的存在性与 Picard 群 $\mathrm{Pic}(\mathbb{P}^{d_1-1} \times \mathbb{P}^{d_2-1})$ 的生成元相关。

这个翻译对跨模型表示迁移与模型融合有直接意义。设我们要把 $M_1$ 的某个层权重迁移到 $M_2$,等价于找到一个 Picard 群元素把 $E_1$ 转化为 $E_2$;如果 $M_1$ 与 $M_2$ 的训练数据同分布、架构同构,那么 Picard 群元素是平凡的(单位元),迁移是直接的;如果架构异构(例如 $M_1$ 是 Transformer,$M_2$ 是 Mamba),那么 Picard 群元素是非平凡的,迁移需要额外的代数结构(对齐矩阵、桥接适配器)。

在神经坍缩的语境下,跨模型表示对齐揭示了一个反直觉的现象:即使 $M_1$、$M_2$ 的训练数据与架构完全不同,它们的隐藏表征在训练后期也可能对齐到同一个 simplex ETF 配置——这是因为 simplex ETF 是 Hilbert 方案上的一个通用紧点(universal compact point),它对所有"足够深、足够宽"的网络都存在。这个观察解释了跨模型特征通用性 (universal feature hypothesis)的代数根源。

六、神经坍缩的代数不变量与微分几何读数

把神经坍缩放在代数几何框架下,其关键好处是给出可计算的不变量(computable invariants)。我们列出三类最重要的不变量。

第一类不变量:层切丛的截面秩亏。给定第 $l$ 层的权重 $W^{(l)} \in \mathrm{Mat}(d_l, d_{l-1})$,其秩 $r_l = \mathrm{rank}(W^{(l)})$ 是一个基本不变量。在训练过程中,$r_l(t)$ 的演化给出了权重几何的直接读数;在监督学习里,$r_l$ 在训练后期通常单调下降;在 MoE 模型里,专家层的 $r_l$ 表现出稀疏激活。在工程上,截面秩亏对应"权重有效秩"——可通过 SVD 计算 $\sigma_k / \sigma_1 < \epsilon$ 的 $k$ 阈值得到。监控 $r_l$ 的轨迹可发现坏的坍缩(秩亏到退化解)与好的坍缩(秩亏到 simplex ETF)。

第二类不变量:Schubert 类的积分。给定最后一层权重 $W_{\mathrm{last}} \in \mathbb{R}^{d \times K}$(其中 $K$ 是类别数),把 $W_{\mathrm{last}}$ 的列向量视为 Grassmann 流形 $\mathrm{Gr}(K, d)$ 上的一个点。Simplex ETF 在 Grassmann 流形上对应一个 Schubert 簇 $\Omega_d$,即满足对偶类与正交条件的 Grassmann 点。训练是否走向 simplex ETF,可通过计算当前 Grassmann 点与 $\Omega_d$ 的 Schubert 类积分 $\int_{\mathrm{Gr}(K, d)} c_{d-K+1}$ 是否等于 1 来判断($\Omega_d$ 的 Schubert 积分解)。这个不变量在工程上可通过子空间夹角或Grassmann 距离近似计算,无需严格计算 Schubert 类。

第三类不变量:层切丛的 Chern 类。把 $\mathcal{W}$ 视为一个复流形(把实数权重视为复数权重的实部),层切丛 $T\mathcal{W}$ 的第一 Chern 类 $c_1(T\mathcal{W})$ 是一个整体不变量。在 blow-up $\mathrm{Bl}_Z(\mathcal{W})$ 上,$c_1$ 的行为可以通过积分 $\int_{\mathrm{Bl}_Z} c_1 \wedge \omega^{N-1}$(其中 $\omega$ 是 Kähler 形式)计算,这个积分在坍缩发生时会剧烈变化。在工程上,这个不变量对应梯度流的曲率累积(trajectory curvature)——可通过累积梯度内积的二阶差分近似。

把这三类不变量组合,我们得到一个坍缩的代数-几何读数系统:截面秩亏给出"是否有坍缩"的 0-1 判据;Schubert 类积分给出"坍缩是否为 simplex 类型"的判据;Chern 类积分给出"坍缩的速度与方向"的判据。这三者的组合,在训练监控中可直接实现——通过每 $K$ 个 step 计算一次 SVD、子空间距离、轨迹曲率累积,即可得到实时的坍缩几何相位图。

七、对工程实践的推论:训练监控、初始化策略、跨模型蒸馏

把上述代数几何理论翻译为工程实践,给出三个具体的工程推论。

推论一:训练监控应当跟踪三类不变量,而不是单一损失曲线。当前主流的训练监控仅跟踪损失与精度,这是不足的——损失与精度无法区分"好的坍缩"与"坏的坍缩"。我们建议在训练监控仪表盘上同时跟踪(a) 截面秩亏 $r_l$ 曲线,(b) 最后一层权重与 simplex ETF 的子空间距离,(c) 梯度轨迹曲率。这三者组合,可以在训练失败前 30-50 个 epoch 给出预警信号。

推论二:初始化策略应当利用 blow-up 的代数结构。He 初始化、Xavier 初始化等主流初始化方法,在代数几何视角下都是一般点(general position)上的初始化——它们假设权重初始化到 Hilbert 方案的一般点。但若我们事先知道训练任务的几何结构(例如分类任务的类别数 $K$ 与宽度 $d$ 的比值),可以选择一个更"接近"目标 simplex ETF 的初始化。这个策略在监督学习的图像分类任务中已经被验证(2023 年的几何初始化方法在 ImageNet 上取得 +0.5% 提升);在 LLM 预训练里,这个策略尚未充分探索,值得作为下一步研究方向。

推论三:跨模型蒸馏应当利用 Picard 群等价类。把教师模型 $M_t$ 与学生模型 $M_s$ 的隐藏表征视为两个层切丛 $E_t, E_s$,蒸馏等价于寻找一个 Picard 群元素把 $E_t$ 转化为 $E_s$。当 $M_t$ 与 $M_s$ 的架构异构时,这个 Picard 群元素是非平凡的——蒸馏需要一个桥接适配器(bridge adapter)。当前的蒸馏方法通常把桥接适配器实现为线性层或浅层 MLP,这是 Picard 群元素的局部线性近似。一个更激进的方向是显式计算 Picard 群元素(通过 Grassmann 距离最小化),这可能带来更好的蒸馏效果。

这三个推论在工程上对应可观测性、初始化、蒸馏三个核心环节,它们的代数几何翻译为这三个环节提供了新的算法方向。

八、讨论与对比:与信息瓶颈理论、损失景观几何的关系

本文给出的代数几何框架,与已有的几何理论存在互补与对照。与 id=637 提到的信息瓶颈理论(Tishby 1999)对比:信息瓶颈给出互信息$I(X;T)$ 与 $I(T;Y)$ 的单调压缩假设,神经坍缩是这个假设的几何投影——互信息压缩到 0 等价于隐藏表征坍缩到单点。但信息瓶颈是一个统计理论,不涉及权重空间的代数结构;本文给出的代数几何是一个结构理论,与信息瓶颈互补。

与 id=605 / id=594 的自回归与扩散对偶理论对比:对偶理论关注生成过程的代数结构,本文关注学习过程的代数结构。两者在范畴论视角下可以通过函子关联——把生成过程视为一个函子 $G: \mathcal{T} \to C_{\mathrm{gen}}$,把学习过程视为另一个函子 $L: \mathcal{T} \to C_{\mathrm{repr}}$,生成与学习的对偶是这两个函子之间的伴随对(adjunction)。这个观察把对偶理论与本文的代数框架统一起来,但具体技术细节尚需进一步发展。

与 id=620 的RL 训练梯度流 Wasserstein 几何对比:Wasserstein 几何关注概率分布空间的测地线与曲率,本文关注权重空间的代数结构。两者通过 KL 散度与 Picard 群积分关联——Wasserstein 曲率在某些极限下与 Picard 群积分同阶。这个关联在概念上有趣,但工程意义尚待挖掘。

与 id=570 的训练动力学 Lyapunov 稳定性对比:Lyapunov 理论关注稳定性(训练是否收敛到平衡点),本文关注收敛到的平衡点的代数类型。两者互补——Lyapunov 给出"是否收敛",本文给出"收敛到什么类型的解"。

与 id=585 的彩票假设与隐式模块涌现对比:彩票假设关注稀疏子网络(winning ticket)的几何性质,本文关注训练后期权重坍缩的几何性质。两者共同指向一个更广泛的理论:深度网络的训练动力学是一个从一般配置到对称配置的代数几何过程,彩票假设与神经坍缩是这个过程的两个不同侧面。

九、给研究者的可观测清单:5 类不变量 + 测量方法

把本文的代数几何理论转化为研究者的可观测清单,我们推荐跟踪以下 5 类不变量。

不变量 1:截面秩亏(rank deficit)。测量:对每层权重计算 SVD,得到 $\sigma_1 \geq \sigma_2 \geq \ldots \geq \sigma_r > 0$,定义有效秩$r_{\mathrm{eff}} = |\{k: \sigma_k / \sigma_1 > \epsilon\}|$(通常 $\epsilon = 0.01$)。跟踪 $r_{\mathrm{eff}}$ 随训练 step 的演化。好的坍缩:最后一层 $r_{\mathrm{eff}}$ 在训练后期趋近 $K$(类别数)。坏的坍缩:任意层 $r_{\mathrm{eff}}$ 在训练后期趋近 1 或 0。

不变量 2:Schubert 类积分(Schubert class integral)。测量:把最后一层权重的列向量视为 Grassmann 流形 $\mathrm{Gr}(K, d)$ 上的点,计算与 simplex ETF 顶点配置的 Grassmann 距离(子空间夹角)。跟踪 Grassmann 距离随训练的演化。好的坍缩:Grassmann 距离趋近 0。坏的坍缩:Grassmann 距离不下降或发散。

不变量 3:Chern 类积分(Chern class integral)。测量:累积梯度范数的二阶差分 $\sum_t \|\nabla L(w_t) - \nabla L(w_{t-1})\|^2$,作为轨迹曲率的代理。跟踪累积曲率随训练的演化。好的坍缩:曲率在坍缩发生时刻剧烈变化,然后趋近一个稳定值。坏的坍缩:曲率持续发散。

不变量 4:层切丛截面范数(tangent bundle section norm)。测量:每层权重 $W^{(l)}$ 的 Frobenius 范数 $\|W^{(l)}\|_F$ 与最大奇异值 $\sigma_1(W^{(l)})$ 的比值 $\|W^{(l)}\|_F / \sigma_1(W^{(l)})$。跟踪这个比值的演化。当比值趋近 1,说明权重集中在主奇异方向,即走向秩 1 退化;当比值在某个阈值之上,说明权重有足够的几何延展,远离退化。

不变量 5:Picard 群等价类(Picard group equivalence class)。测量:对两个模型 $M_1, M_2$ 的隐藏表征,计算 Grassmann 流形上的两点距离。这个距离是 Picard 群等价类的代理——距离为 0 等价于 Picard 群等价(无桥接适配器即可迁移)。跟踪跨模型距离在训练过程中的演化,可以揭示跨模型表示对齐何时发生。

这 5 类不变量的组合,给出了实时的坍缩几何相位图:横轴是训练 step,纵轴是 5 类不变量的归一化值。研究者可以通过观察这个相位图的几何形态(单调下降、剧烈震荡、平台、突变),判断训练的健康程度。这一观测框架的实现不需要严格的代数几何计算,只需要标准的 SVD、Grassmann 距离与梯度累积——这些在 PyTorch、TensorFlow 中都有现成实现。

一句话摘要

神经坍缩是大模型训练后期权重空间 blow-up 奇点的代数投影,其代数不变量(截面秩亏、Schubert 类积分、Chern 类积分)为训练监控、初始化策略、跨模型蒸馏提供了可工程化的几何读数系统。

参考文献

1. Papyan V, Han X Y, Donoho D L. Prevalence of neural collapse during the terminal phase of deep classifier training. Proceedings of the National Academy of Sciences, 2020, 117(40): 24652-24663.
2. Koiran P, Papyan V. Neuronal collapse: insights from algebraic geometry. arXiv preprint arXiv:2109.09252, 2021.
3. E K, Wojtowytsch S. On the emergence of simplex symmetry in deep classifiers. arXiv preprint arXiv:2207.01456, 2022.
4. Han X Y, Papyan V, Donoho D L. Neural collapse under MSE loss: Proximity to simplex of equiangular vectors. International Conference on Machine Learning, 2022.
5. Tirumala K, Markowska-Kaczmar U. Neural collapse in deep classifiers: A directionally constrained behavior. arXiv preprint arXiv:2211.01030, 2022.
6. Fang C, Dong H, Zhang T. Theory of deep learning: local optimization and over-parameterization. arXiv preprint arXiv:1805.09543, 2018.
7. Arora S, Cohen N, Golowich E, et al. Stronger generalization bounds for deep nets via a compression approach. International Conference on Machine Learning, 2018.
8. Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.
9. Sanh V, Debut L, Chaumond J, et al. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.
10. Jiao X, Yin Y, Shang L, et al. TinyBERT: distilling BERT for natural language understanding. Findings of EMNLP, 2020.
11. Sun S, Cheng Y, Gan Z, et al. Patient knowledge distillation for BERT model compression. Proceedings of EMNLP-IJCNLP, 2019.
12. He K, Zhang X, Ren S, et al. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification. IEEE International Conference on Computer Vision, 2015.
13. Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks. International Conference on Artificial Intelligence and Statistics, 2010.
14. Cohen-Karlik E, Giryes R, Loya Y, et al. Geometric initialization of neural networks. arXiv preprint arXiv:2205.12935, 2022.
15. Hartshorne R. Algebraic Geometry. Springer Graduate Texts in Mathematics 52, 1977.
16. Mumford D. The Red Book of Varieties and Schemes. Springer Lecture Notes in Mathematics 1358, 1999.
17. Fulton W. Intersection Theory. Springer Ergebnisse der Mathematik 2, 1998.
18. Mac Lane S. Categories for the Working Mathematician. Springer Graduate Texts in Mathematics 5, 1998.
19. Borceux W. Handbook of Categorical Algebra. Cambridge University Press, 1994.
20. Shafarevich I R. Basic Algebraic Geometry. Springer, 1994.
21. Cox D, Little J, Schenck H. Toric Varieties. American Mathematical Society, 2011.