神经网络损失景观的拓扑学 2026：从模式连接、低损耗盆地到模型合并的几何基础

当我们把深度学习模型的损失函数视作高维参数空间上的连续函数，训练过程便成为一次穿越未知地形的长途跋涉。2026 年研究界开始系统化地用微分拓扑、持续同调（persistent homology）与 Morse 理论重新解读这一地形——这些工具不仅解释了为何独立训练的模型能"沿曲线低损合并"，更揭示了 SGD 在盆地之间跳跃的隐藏路径，以及模型合并为何在某些架构上稳定、在另一些架构上崩溃。

一、引言：把损失景观当作一个几何对象

在 ResNet 时代之前，研究者已习惯把训练损失视作一张充满尖锐谷地的"崎岖山地"。2016 年 Garipov 等人发现两个独立训练的 SGD 终点可以被一段线性或弯曲的低损路径连接（称之为 linear mode connectivity / loss basin connectivity），2018 年 Draxler 等人进一步将这种连接扩展为参数空间中的"低损流形"。但 2024-2026 年的进展让这一图景变得远比想象中丰富：

1. NLP 大模型的损失盆地不像视觉模型那样"几乎全连通"——LLM 在不同数据顺序、不同随机种子下可能落入多个分离的低损盆地，盆地之间的"瓶颈"对应着不可恢复的表示分歧。
2. MoE 架构的损失景观天然是"多模态分片"的——路由器（router）的离散选择把有效参数空间切成多个不连续的子流形，每个专家组合对应一片盆地，跨盆地合并会出现"专家激活概率崩塌"。
3. 持续预训练（continual pre-training）后的模型其损失盆地的"形态"会发生拓扑相变——某些原本连通的盆地在持续学习新领域后裂解为多个互不可达的子盆地。
4. 后训练阶段（post-training, SFT/DPO/RLHF）的梯度场呈现"高原-峡谷"结构——奖励信号的稀疏性把损失景观的曲率局部放大几个数量级，这是 SFT 容易"灾难性遗忘"的拓扑根源。

本文将用微分拓扑语言系统梳理这四点，结合 arXiv:2402.10381（mode connectivity survey 2024）、arXiv:2503.14499（METR 时间视野三连）与 2026 年 3 月发表的 arXiv:2603.01214（"Topology of Loss Landscapes in Foundation Models"）的实测数据，给出理论分析与工程决策清单。

二、模式连接（Mode Connectivity）的形式化定义

设 $\mathcal{L}: \mathbb{R}^d \to \mathbb{R}$ 是网络参数 $\theta \in \mathbb{R}^d$ 上的训练损失（加正则化后）。定义两个独立训练的终点 $\theta_1, \theta_2$ 满足 $\mathcal{L}(\theta_i) \approx \mathcal{L}_{\min}$。线性模式连接要求存在一条参数化曲线 $\gamma: [0,1] \to \mathbb{R}^d$ 使得

$\gamma(0) = \theta_1,\quad \gamma(1) = \theta_2,\quad \max_{t \in [0,1]} \mathcal{L}(\gamma(t)) \le \mathcal{L}_{\min} + \epsilon$

而"弯曲"模式连接允许 $\gamma$ 为参数空间中的任意低损曲线（polygon chain / Bezier / 神经网络参数化的曲线）。弯曲连接的 $\epsilon$ 通常比线性低 1-2 个数量级，但在 2026 年的 LLM 实验中（arXiv:2603.01214 表 3），弯曲连接的额外收益对 7B 以上模型迅速衰减——这暗示超大模型的盆地连通性已接近"凸"的极端情形。

三、损失盆地的拓扑不变量：持续同调的视角

持续同调（persistent homology）追踪随过滤尺度（filtration parameter）$\epsilon$ 增大时拓扑特征的生灭过程。损失函数 $\mathcal{L}$ 的 sublevel set $\{ \theta : \mathcal{L}(\theta) \le c \}$ 在 $c$ 从 0 增大到 $\infty$ 时，其 Betti 数序列

$\beta_0(c), \beta_1(c), \beta_2(c), \ldots$

构成"条形码图（barcode diagram）"。2025 年的一篇工作（arXiv:2507.04812）首次将这套工具用于分析 Llama-3-70B 系列的损失盆地：

（数值为独立训练 8 个种子后平均值；标准差反映盆地数量的离散度）

直觉上：模型越大，盆地数量越多、环结构越持久。这与"过参数化导致损失景观更平坦"的传统直觉矛盾——传统直觉基于"$\mathcal{L}$ 的 Hessian 在最小值附近极小"，但持续同调告诉我们，全局拓扑（不同盆地之间的连接关系）比局部曲率更能决定模型的合并稳定性。

四、MoE 损失景观的分片性

Mixture-of-Experts（MoE）架构在损失景观上有一个离散的全局对称性：交换任意两个专家的参数 $W_i \leftrightarrow W_j$，模型的损失保持不变（只要 router 的 softmax 同步交换）。这构成损失景观上的一个 $\binom{n}{2}$ 阶置换群作用。对 8 专家模型，这意味着 $8! / 2 = 20160$ 个等价极小点，分布在 8! 个等价盆地里。

实测：DeepSeek-V3 风格的 128 专家架构，其损失盆地的等价类数高达 $128! / 2 \approx 10^{215}$，但等价格子集（router 概率分布相同的解）在持续训练中通常塌缩到几十个主要盆地。跨盆地合并时（如 MergeKit 的 DARE-TIES 合并两个 128 专家 MoE）会出现：

1. 专家激活崩塌：如果两个模型的 router 概率分布不一致，平均合并后 router 的 softmax 会出现"双峰"——某些 token 同时被两个"幽灵专家"激活，推理时显存占用翻倍。
2. 专家身份重映射：工程上需要在合并前用"贪心匹配 + 匈牙利算法"对齐专家角色（详见 arXiv:2501.02992 提出的 Expert Alignment 算法）。
3. 跨盆地路由不连续：合并后 router 的梯度场在两个盆地的"鞍点"附近不连续，这是 MoE 合并 loss spike 的拓扑根源。

数据来源：arXiv:2501.02992 附录 B 的 128 组合并实验。

五、持续预训练引起的盆地拓扑相变

持续预训练（continual pre-training, CPT）是把已训练好的基础模型继续在新领域数据上训练的过程。2026 年的实测（arXiv:2603.08947）显示：

• 在原始预训练分布上，CPT 后的模型仍处于"原盆地"内部，参数偏移量 $\|\Delta \theta\|$ 极小（<0.5%），模式连接性保持。
• 在新领域分布上，CPT 后模型进入"新盆地"——这个盆地与原盆地的瓶颈宽度取决于新数据分布的 KL 散度 $D_{\mathrm{KL}}(p_{\text{new}} \| p_{\text{old}})$。
• 当 $D_{\mathrm{KL}} > 0.5$ nats/token 时，两个盆地的连接路径损耗 $\epsilon$ 上升 3-5 个数量级，拓扑相变发生——从"两个盆地之间有低损连接"变成"两个盆地被高损屏障隔离"。

这一相变解释了为何 2026 年多个团队报告"在医学/法律领域 CPT 后的模型与原基础模型合并时性能剧烈下降"——根因不是合并算法差，而是盆地已拓扑断裂。

六、后训练的稀疏奖励与高原-峡谷结构

SFT/DPO/RLHF 后训练阶段的损失景观与预训练阶段拓扑结构不同。预训练的 loss 是稠密 token-level cross-entropy，几乎处处有梯度；后训练的奖励信号（如人类偏好对比）稀疏——90% 以上的 prompt 没有任何 reward signal 反馈。

这导致后训练的损失景观呈现"高原-峡谷"结构：

$\mathcal{L}_{\text{post}}(\theta) = \mathbb{E}_{x \sim p_{\text{prompt}}} \left[ r(x, \theta) \right]$

其中 $r(x, \theta) \approx 0$ 对绝大多数 $x$ 成立，只有少数 prompt 提供非零梯度。结果是损失景观的 Hessian 矩阵极度各向异性——多数方向是"高原"（曲率 ≈ 0），少数方向是"深谷"（曲率放大 10³-10⁶ 倍）。SGD 在这种 landscape 上表现为：

1. 沿"高原方向"缓慢漂移——对应模型在大多数 prompt 上的行为不变。
2. 沿"深谷方向"快速下落——对应模型在"被偏好反馈约束的 prompt 类别"上急剧调整。
3. 高原与深谷的交叉处出现"悬崖"——这是 SFT 灾难性遗忘的拓扑根源：参数在"高原方向"漂移到某个阈值后，突然掉入一个完全不同模式的盆地。

2026 年 arXiv:2604.10238 提出的"几何稳定性正则化（Geometric Stability Regularization, GSR）"通过显式惩罚"高原方向的累积漂移 $\|\Delta \theta_{\text{plateau}}\|_2 > \tau$"把这种拓扑断裂概率降低 60-70%。

七、工程决策清单

基于上述拓扑分析，给出 2026 年合并 / 持续训练 / 后训练的工程决策树：

八、未公开验证的猜想

以下三组推论在 2026 H2 的实证文献中尚未广泛验证，仅作为后续研究方向：

1. 盆地等价格子集数 vs 模型规模的双对数关系：从 1.5B 到 70B 的数据点呈"亚线性"增长（$\log N_{\text{basin}} \propto d^{0.6}$），但 100B+ 是否仍保持这一规律？Transformer 解码器深度与盆地数的关系可能是 $d^{0.8}$ 而非 $d^{0.6}$。
2. 后训练阶段的"悬崖"分布：高原-峡谷的悬崖在参数空间中是离散的还是连续分布的？初步迹象是离散（约 $10^3$ 个主要悬崖），但缺乏严格统计。
3. 多模态模型的损失景观拓扑：CLIP/LLaVA 这类视觉-语言对齐模型，其损失景观是否仍是"分片多盆地"还是出现新的"桥接盆地"（视觉盆地里嵌入语言子盆地）——目前无系统研究。

九、结论

把损失景观视作拓扑对象，而非仅是优化曲面，为 2026 年的大模型合并、持续训练、后训练三个核心问题提供了新的分析框架。盆地数量、瓶颈宽度、置换对称性、稀疏奖励的悬崖这四个拓扑不变量，正在成为工程决策中新的第一性指标。当我们训练下一个 100B+ 模型时，监控这些拓扑量（用持续同调算法计算 Betti 数序列）可能比监控传统 loss 曲线更能预测模型的合并可行性与后训练稳定性。

参考文献

1. Garipov, T., et al. (2016). Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs. NeurIPS.
2. Draxler, F., et al. (2018). Essentially No Barriers in Neural Network Energy Landscape. ICML.
3. Ainsworth, S., et al. (2023). Git Re-Basin: Merging Models modulo Permutation Symmetries. ICLR.
4. arXiv:2402.10381 (2024). A Survey on Mode Connectivity in Deep Learning.
5. arXiv:2501.02992 (2025). Expert Alignment for MoE Model Merging.
6. arXiv:2503.14499 (2025). METR: Measuring Time Horizon of Long-Horizon Tasks.
7. arXiv:2507.04812 (2025). Persistent Homology of Loss Landscapes in Foundation Models.
8. arXiv:2603.01214 (2026). Topology of Loss Landscapes in Foundation Models.
9. arXiv:2603.08947 (2026). Topological Phase Transitions in Continual Pre-training.
10. arXiv:2604.10238 (2026). Geometric Stability Regularization for Post-Training.

一句话摘要：2026 年的损失景观研究正从"曲率分析"跃迁到"拓扑分析"——持续同调、置换对称性、高原-峡谷结构这三大工具，正在成为模型合并、持续预训练、后训练阶段的统一决策框架。