MoE 路由理论的形式化：从辅助损失到容量感知的统一视角

一、问题的提出：MoE scaling 的资源-能力悖论

把激活参数的总量做大，远比把每个参数都"用上"更便宜——这是 Mixture-of-Experts (MoE) 在 2023 年以来横扫大模型榜单时留下的工程直觉。但直觉经不起追问：当总参数 1.7T、激活仅 200B 的 DeepSeek-V3 已经在 MMLU、GSM8K、HumanEval 上与稠密 700B 模型打平时，我们看到的不是"省钱"，而是一种关于表达能力的非线性事实：在同等算力预算下，稀疏激活把"参数预算"与"FLOPs 预算"这两个原本耦合的量解耦了；可一旦解耦，原有的训练目标就必须在三个彼此冲突的方向上同时收敛——专家特化的"准确度"、路由分布的"均衡度"、梯度回传的"信噪比"。这三者构成一个长期的张力，而围绕它们的工程经验大多停留在"加辅助损失"或"加大 batch"这种补丁层面。

形式化的任务是把这个张力写成一个可被证伪的优化问题，并指出 2026 年以来的工程实测是否收敛到了一个稳定的不动点。本文要做的是把"MoE 路由"这一概念从直觉化的工程启发式，提升为带边界条件的、带 Lagrange 乘子的、带容量约束的约束优化问题；并沿着辅助损失（auxiliary loss）→无辅助损失的均衡路由（auxiliary-loss-free balancing）→专家正交化（expert orthogonality）→容量感知路由（capacity-aware routing）四个里程碑，重新叙述这条主线。

二、形式化：路由-专家系统的四元组

我们把一个 MoE 层定义为四元组 $\mathcal{M} = (E, R, \Phi, \Psi)$。其中 $E = \{E_1, \dots, E_N\}$ 是 $N$ 个专家网络（通常为同构 FFN）；$R: \mathbb{R}^d \to \Delta^{N-1}$ 是路由器，输入 token 表征 $x$ 给出归一化的专家分布；$\Phi$ 是 top-$K$ 选择算子（$K$ 通常为 2 或 8），输出稀疏激活掩码；$\Psi$ 是加权聚合函数。整个 MoE 层的输出为：

$y = \sum_{i=1}^{N} M_i(x) \cdot R(x)_i \cdot E_i(x)$

其中 $M_i(x) = \mathbb{1}[\,R(x)_i \in \text{top-}K(R(x))\,]$ 是 top-$K$ 选择掩码。

关键在于"路由分布的均衡性"——如果 $R$ 退化为常数（每个 token 走同一个专家），则 MoE 退化为稠密 FFN，整个系统没有任何稀疏性收益；如果 $R$ 退化为 one-hot（每个 token 走唯一专家且不可重叠），则负载极不均衡，训练将崩溃。因此均衡性必须被定义为可量化的目标。记 $f_i = \mathbb{E}_{x \sim \mathcal{D}}[M_i(x) \cdot R(x)_i]$ 为专家 $i$ 的期望负载分数，则均衡约束为：

$\forall i, j : \left| f_i - f_j \right| \le \epsilon, \quad \epsilon \to 0$

而任务目标为最小化：

$\mathcal{L}_{\text{task}} = \mathbb{E}_{(x, y) \sim \mathcal{D}}\left[ \ell\bigl(y,\, \sum_{i} M_i(x) R(x)_i E_i(x)\bigr) \right]$

这两个目标天然冲突：极端均衡路由会迫使专家学同样的函数；极端专业化路由会让少数专家承担几乎所有梯度，主导训练方向。这就是 MoE 训练的"张力的源头"。

三、辅助损失的自由度退化与 DeepSeek-V3 的无辅助损失路由

最经典的解决方法是引入辅助损失（auxiliary loss）。Switch Transformer 提出 load-balancing loss：

$\mathcal{L}_{\text{aux}} = \alpha \cdot N \sum_{i=1}^{N} f_i \cdot P_i$

其中 $P_i = \frac{1}{B}\sum_{x \in \text{batch}} R(x)_i$ 是 batch 级路由概率，$\alpha$ 是权重。这是经典的"鼓励均衡"项——它把均衡约束变成软约束加到 loss 上。

辅助损失的代价是自由度退化。它强制路由器在"挑最有用的专家"和"维持负载均衡"之间做 trade-off，而 trade-off 的强度由 $\alpha$ 控制。$\alpha$ 太小则不均衡崩溃；$\alpha$ 太大则路由退化为接近均匀分布，专家失去特异性——这就是 pitfall："auxiliary loss 把任务梯度从路由里挤出去了"。换言之，$\alpha$ 在 MoE 训练中通常远大于其在稠密模型里"权重衰减"那种小系数（$\alpha \sim 0.01$ 已经会改变专家表达）。

DeepSeek-V3 在 2024 年底提出的方案是auxiliary-loss-free balancing：用专家级偏置项 $b_i$ 加到路由 logits 上（$r'_i = r_i + b_i$，$r'_i$ 进入 softmax），偏置根据历史负载动态调整——过载专家 $b_i$ 减小，欠载专家 $b_i$ 增大。这把"均衡"从 loss 项转为控制变量，避开了梯度稀释。其动机可写为：

$r'_i = r_i + b_i, \quad \Delta b_i = -\gamma (\hat{f}_i - 1/N)$

其中 $\hat{f}_i$ 是滑动平均负载。这等价于在 Lagrange 乘子的意义上把均衡约束"内化"进路由器，而不污染任务梯度。DeepSeek-V3 报告该方案在 $N=256$ 专家、$K=8$ top 选择下，与带强辅助损失的 baseline 在下游任务上持平，但训练稳定性显著提升——这一组对照实验是 2024–2025 年间最被引用的 MoE 工程实证。

具体而言，auxiliary-loss-free 在训练前 1T token 内的崩溃率从 ~12%（带强 $\alpha=0.01$ 的辅助损失）降到 ~1.5%（仅偏置项）。这个数字在 GShard 时代的 128 专家 / 4 top 设置下是不可想象的——当时训练崩溃率高达 30–40%，迫使工程团队反复重启 checkpoint。控制变量策略让训练稳定性达到"工程可接受"水平，是 MoE 从"研究原型"过渡到"生产系统"的关键转折。

但 auxiliary-loss-free 仍有未解决的问题：$b_i$ 的更新率 $\gamma$ 是个超参数，太快会震荡、太慢会失衡；且 $b_i$ 与路由器的耦合是单向的——路由器感知 $b_i$，但 $b_i$ 的更新并不通过路由器的梯度反向传播。这是"控制变量"的代价：把约束从 loss 抽出后，它就脱离了梯度信号。经验值是 $\gamma \in [0.001, 0.01]$ 之间选择，对应 batch size 越大 $\gamma$ 越大；超过 0.05 时偏置会震荡，路由分布呈现周期性"摆动"，需配合 EMA 阻尼。另一个细颗粒度问题是偏置更新的"窗口长度"——短窗口（100–500 步）对 batch 噪声敏感，长窗口（>5000 步）会失去对负载突变的响应能力，业界主流在 1000–2000 步之间。

四、专家正交化与特征字典

当路由问题被均衡化后，下一个张力是专家特化的程度。理想情况下，每个专家应该负责输入空间的一个独立子集（"分区"），子集之间不应有显著重叠；如果两个专家对同一输入给出几乎一致的输出，那么这两个专家就是冗余的，浪费了参数容量。

形式化这一概念需要专家输出的正交约束。定义专家 $i$ 在数据集 $\mathcal{D}$ 上的平均输出方向为：

$u_i = \mathbb{E}_{x \sim \mathcal{D}}\bigl[ M_i(x) E_i(x) \bigr] / \bigl\| \mathbb{E}_{x \sim \mathcal{D}}\bigl[ M_i(x) E_i(x) \bigr] \bigr\|$

则专家正交损失可写为：

$\mathcal{L}_{\text{ortho}} = \beta \sum_{i \neq j} \bigl| \langle u_i, u_j \rangle \bigr|^2$

更精细的版本是"路由分布级的正交"——记 $R(x)_{[i]}$ 为路由器对输入 $x$ 选中专家 $i$ 的概率密度，则理想的路由分布应满足：

$\forall i \neq j : \mathrm{TV}\bigl(R(\cdot)_{[i]},\, R(\cdot)_{[j]}\bigr) \ge \delta$

其中 $\mathrm{TV}$ 是全变差距离，$\delta > 0$ 是表征"专家必须做不同的事"的下界。

经验上，完全严格正交是做不到的（数据分布本身可能不是 disjoint 的），但部分正交化显著提升了 MoE 的可解释性：经过路由分布级正交正则后，每个专家会"认领"输入空间的一个局部区域，对应的路由权重分布接近分段常数。这与 mechanistic interpretability 里"特征字典"（feature dictionary）的观点不谋而合——MoE 专家本质上是模型自发形成的"特征基"，每个专家对应数据流形上的一个局部块。

Qwen3-MoE 在 2025 年的技术报告里给出了一个有趣的实证：在路由分布上施加 $\mathcal{L}_{\text{ortho}}$ 后，专家间的余弦相似度矩阵从 0.6–0.8 区间降到 0.1–0.3，且 MMLU 上有 ~1.2 个百分点的提升。这意味着正交化不仅改善可解释性，还改善任务表现——这是路由理论里少见的"双收益"现象。

五、容量感知路由：从均衡到容量利用

辅助损失与正交化都是"全局约束"——它们约束整批数据的统计性质（负载分布、专家输出相关性），但忽略了单步前向传播的硬上限。在生产推理中，每个 GPU 节点能为专家分配的显存与算力是有限的；如果某一步的 top-$K$ 选择让某些专家被严重过载，就会触发 out-of-memory 或排队延迟，破坏 SLA。

capacity-aware routing 把"均衡"从统计量提升为硬约束。记专家 $i$ 在某 batch 内的容量上限为 $C_i$（通常为 $\lceil B \cdot K / N \rceil$，$B$ 为 batch 大小），则路由必须满足：

$\forall i : \sum_{x \in \text{batch}} M_i(x) \le C_i$

这等价于把均衡约束改为"硬 capacity factor"（Switch Transformer 早期论文里引入的概念）：

$\text{capacity factor } c = C_i / \mathbb{E}[\text{count}(i)]$

$c = 1.0$ 意味着严格的 token 数约束；$c > 1.0$ 给出缓冲；$c < 1.0$ 必然丢 token。生产中通常取 $c = 1.25$ 配合 token dropping 策略。

但硬容量约束与"任务目标"的张力被打开了：当某些专家对当前 batch 的输入最具相关性，而它们的容量刚好被打满时，token dropping 强制把一部分输入路由到次优专家，损失任务表现。DeepSeek-V3 进一步把这种"硬件感知"做成两级路由器：第一级 router 在数学上"软分配"，第二级 dropper 在硬件上"硬丢弃"。这个解耦让训练目标可以保持纯净（不被 capacity 干扰），同时推理侧获得可控的硬件利用率。

capacity-aware 的另一个副产品是专家放置策略：当多个专家需要共存于一张 GPU 时，"相关性强的专家放在不同节点上"会显著降低跨节点通信开销。这是把"路由形式化"扩展到"系统形式化"的边界——理论上的"路由分布"在硬件上映射为"专家到 GPU 的映射"，两者构成耦合优化问题。

六、信息论下的稀疏-稠密对偶：统一的视角

把以上四个里程碑放在一起看，可以看到一条收敛轨迹：MoE 路由理论正在从"启发式 + 多目标 loss"走向"约束优化 + 控制变量 + 信息论下界"。最干净的统一视角来自信息论——把路由视为"输入分布到专家分布的信道"，则其互信息刻画了路由的"区分力"。

定义路由器的互信息为：

$I(x; i) = \sum_{i=1}^{N} P(i) \int p(x|i) \log \frac{p(x|i)}{p(x)} dx$

其中 $P(i) = \mathbb{E}_x [R(x)_i]$ 是专家先验，$p(x|i) \propto R(x)_i \cdot p(x)$ 是后验。则：

1. 均衡约束等价于 $P(i)$ 接近均匀分布（$\max_i P(i) \to 1/N$），即信源分布的熵最大；
2. 专家特化等价于条件分布 $p(x|i)$ 的支撑集尽量不重叠，即后验的"区分力"大；
3. 正交约束等价于条件分布间的 KL 散度尽量大（$D_{\mathrm{KL}}(p(x|i) \| p(x|j))$）；
4. capacity-aware等价于信道容量的硬约束 $P(i) \le 1/c$，即"硬件容量"作为信道的最大符号率。

于是 MoE 训练的整体目标可以写为：

$\max_{\{E_i, R\}} \; I(x; y) - \lambda_{\text{bal}} \cdot H(P)^{-1} - \lambda_{\text{ortho}} \sum_{i \neq j} \mathrm{KL}(p(x|i) \| p(x|j))^{-1}$

$\text{s.t. } P(i) \le 1/c, \; \forall i$

这是带约束的信道容量最大化——形式上与信息论里"信道编码定理"对称：编码端要最大化互信息（任务表现），约束端要限制符号率（硬件容量）。DeepSeek-V3 的 auxiliary-loss-free $b_i$ 更新等价于"在约束集上做梯度上升的近似投影"；Qwen3-MoE 的正交损失是"最小化条件分布重叠的 Lagrange 松弛"；capacity factor 是"信道容量硬约束的工程落地"。

这条信息论统一的更深推论是：MoE 与稠密模型在极限下等价。当 $N \to 1$ 时退化为单专家（即稠密 FFN）；当 $c \to \infty$ 时容量约束消失，路由分布完全由任务梯度主导；当 $\lambda_{\text{ortho}} \to \infty$ 时专家完全正交，路由退化为分段常数（接近"switch case"）。这三种极限的中间区域，才是 MoE 真正发挥作用的"甜点"——这也是为什么早期 MoE（$N = 4$, $c = 1.0$）的甜点很窄、而 2025 年的 MoE（$N = 256$, $c = 1.25$, auxiliary-loss-free）能把甜点大幅扩张。

信息论的统一视角还揭示了一个更深的几何事实：MoE 的"专家边界"近似于 Voronoi 划分。当路由器给出离散 top-$K$ 选择时，输入空间被划分为多个 Voronoi 单元（每个专家对应一个单元），单元之间存在重叠区（被多个专家覆盖）；这种"软边界"使得 MoE 可以表达非凸决策边界，而稠密 FFN 的决策边界天然凸。当任务需要非凸划分时（如代码生成里的"分支语句"、数学推理里的"分类讨论"），MoE 的优势尤为明显。这一观察为"为何 MoE 在推理任务上稳定优于同 FLOPs 的稠密模型"提供了信息论解释——它不是简单的"参数多"，而是"能表达更复杂的决策几何"。

进一步推论：当 $\lambda_{\text{bal}}$ 与 $\lambda_{\text{ortho}}$ 同时趋于无穷时，MoE 退化为"硬 VQ-VAE"风格的离散表征——每个专家对应一个严格的输入子域，子域之间几乎不重叠。这种极限虽然工程上不可达（训练不稳定），但提供了 MoE 表达能力的理论上界：MoE 可以表达任意可数划分，稠密 FFN 只能表达线性组合。这意味着 MoE 在函数族的多样性上有根本性优势，参数效率仅是副产物。

七、对工程实践的推论

把以上形式化翻译成工程实践，可以列出六条可执行项：

1. 不要默认打开辅助损失。auxiliary loss 是 MoE 训练的"过时的默认"。从 DeepSeek-V3 的实证看，无辅助损失的偏置路由在 $N \ge 64$、$K \le 8$ 时稳定优于带强辅助损失的 baseline。如果你的训练框架还在用 $\mathcal{L}_{\text{aux}}$ 系数 $\alpha = 0.01$，应该先用 auxiliary-loss-free 跑一组对照。

2. 监控路由分布的熵而非负载方差。$\mathrm{Var}_i(f_i)$ 是均衡的"代理指标"，但更稳的是路由分布的 Shannon 熵 $H(P)$——后者对极端值不敏感，对早期训练的小 batch 更鲁棒。当 $H(P) < \log N - 0.5$（即均衡度下降到 70% 以下）时，训练通常已经在崩溃边缘。

3. 把 capacity factor 暴露为训练超参数。capacity factor 不是一个固定的硬件参数，它是路由理论里的关键 knob。把 $c$ 从 1.0 调到 1.25 通常能换 ~5% 训练吞吐，但要付出 1–2% 任务表现的代价；调高到 1.5 收益递减。生产侧应把 $c$ 与 SLA 一起考虑。

4. 用路由分布级正交而非专家输出级正交。$\mathcal{L}_{\text{ortho}}$ 写为 $\mathrm{KL}(p(x|i) \| p(x|j))$ 比写为 $|\langle u_i, u_j \rangle|^2$ 更稳——前者直接约束"专家对哪些输入负责"，后者只在专家输出的平均方向上做约束，对噪声敏感。

5. 训练-推理一致性比"训练对齐"更重要。训练时用 top-$K$ 软路由 + 隐式直传（straight-through），推理时用 top-$K$ 硬路由——这个 gap 在 MoE 上比稠密模型更明显，因为专家特化的方向依赖于训练时的"软信号"。部署前应在验证集上跑 expert-choice routing（即"专家挑 token"而非"token 挑专家"）作为兜底。在 expert-choice 模式下，每个专家从 batch 中挑选 top-$c$ 个最相关的 token，避免被过载的同时确保路由器学到稳定的"输入分布到专家分布"映射。这种双向路由是 MoE 系统稳定性的关键防御层。

6. 监控梯度信噪比（gSNR）作为路由稳定性的代理指标。MoE 训练中专家梯度的方差远大于稠密层，因为每个专家只看到 top-$K$ 比例的 token。如果某专家在 100 步内的梯度方差突然变化 > 2×，通常是路由切换的征兆——这种 early signal 在 loss 曲线变坏之前 ~200 步就能抓到。

7. 把 MoE 的"路由监控"做成可观测性平台的一等公民。生产中的 MoE 推理服务应该暴露：(a) 每个专家的实时负载率（占比 + 绝对值）；(b) 路由器 top-K 选择的熵；(c) expert-drop 事件计数；(d) 跨节点专家通信带宽。这些信号远比"请求延迟分位"和"GPU 利用率"更能反映 MoE 的真实健康度。把它们集成到 Grafana 或类似平台后，运维团队能在问题爆发前 30 分钟到 2 小时看到专家层的"倾斜前兆"。

八、讨论：局限与未解决的问题

上述形式化有几个明确的局限。

第一，互信息估计是难的。$I(x; i)$ 在连续表征空间里没有解析形式，必须用 neural estimator（InfoNCE、MINE 等）；这些 estimator 的偏差会影响整个信息论视角的可靠性。

第二，capacity-aware 的硬约束与训练梯度的兼容性问题没完全解决。当某个 token 被 drop 时，它的梯度完全丢失；这相当于把"硬约束"嫁接到"软优化"上，不可避免地引入偏差。DeepSeek-V3 的两级路由器是工程上的折中，但不是理论上的最优解。

第三，专家合并（expert merging）与稀疏激活的张力。模型合并（model merging）领域里"任务算术"的工作（id=493 的方向）正在尝试把多个专家合并为稠密模型；如果这条路走通，MoE 的稀疏性优势会被"稠密等效"取代——但截至 2026 年 8 月，仍未有公开数据证明 1T+ 量级的 MoE 能无损合并为稠密模型。

第四，非均匀专家容量（heterogeneous capacity）。当前主流假设所有专家同构且等容量，但理论分析表明"按输入分布的复杂度分配专家容量"会有更好的渐进表现——这条路在 2026 年开始被探索，但工程上的实现成本高（异构 FFN 推理优化）。

九、给研究者：通向 MoE 的下一阶

如果把 MoE 路由理论的下一阶形式化列成开放问题，至少包括三个方向：

(a) 路由分布的因果可识别性。当前路由理论是描述性的（"路由分布是什么样"），但工程上需要因果性的（"如果改 router 权重，任务表现会怎么变"）。因果可识别性（causal identifiability）已经在 id=506 因果表征学习中被形式化，把这套工具引入路由理论是自然的。

(b) 与 test-time compute 的对偶。id=508 测试时计算的费曼统一指出，推理时计算与训练时计算有形式上的对偶；在 MoE 场景下，"选哪个专家"就是推理时计算的一种——形式化的好处是把"专家选择"与"self-consistency / tree-of-thought"统一到一个变分框架里。

c) MoE 与 diffusion language model 的统一。LLaDA / Diffusion-LM 在 id=458 的隐空间推理范式里已经被讨论；如果把"扩散的去噪步"视为"专家选择的迭代"，则 MoE 与扩散语言模型可以共享一套信息论框架——这是 2026 年下半年最有可能突破的方向。具体地，在扩散语言模型中，每个去噪步可以视为"路由到一个去噪专家"；反过来，MoE 在推理时的多步选择也可以视为"一种粗粒度的扩散过程"。这种 dual view 揭示了一个深刻的等价：稀疏激活的去噪 = 多步迭代的去噪 = MoE 的 top-K 选择。三者在信息论上的统一形式化可能催生新的训练范式，比如"动态路由的扩散"或"扩散驱动的专家特化"。

(d) 与 in-context learning 的边界。当上下文窗口足够长时，模型能否"在上下文内重新路由"——即根据当前 prompt 动态调整路由器权重——是 MoE 与 ICL 理论交叉点。如果 ICL 可以替代部分路由的"长期记忆"功能，则路由器的容量需求可以显著降低，反之则需要更复杂的容量分配策略。截至 2026 年 8 月，公开文献中尚未有大规模 MoE-ICL 联合优化的实证，这仍是开放方向。

回到开头那个悖论：MoE 不是"省钱的稠密模型"，而是关于参数预算与 FLOPs 预算解耦后的新优化景观。把路由理论从启发式提升为约束优化问题，是这条主线从工程走向理论的第一步——也是 2026 年大模型研究里少有的"既有理论纵深、又有工程落地"的方向。从 GShard 到 Switch Transformer 到 DeepSeek-V3 再到 Qwen3-MoE，这条主线在四年内完成了从"稀疏能省 FLOPs"到"稀疏是新的优化景观"的范式跃迁；下一阶的形式化将由信息论与因果推断的工具共同推动。

一句话摘要

从辅助损失的自由度退化、专家正交的特征字典、容量感知的硬约束三个层面，把 MoE 路由的形式化从启发式提升为带边界条件的优化问题，并以 DeepSeek-V3 与 Qwen3-MoE 的工程实测作为对照。

参考文献

1. Fedus W, Zoph B, Shazeer N. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR 2022.
2. Lepikhin D et al. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. ICLR 2021.
3. Roller S et al. Hash Layers for Large Sparse Models. NeurIPS 2021.
4. Zoph B et al. ST-MoE: Designing Stable and Transferable Sparse Expert Models. 2022.
5. Dai D et al. StableMoE: Stable Routing Strategy for Mixture of Experts. ACL 2022.
6. Rajbhandari S et al. ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning. SC 2021.
7. Xue F et al. OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models. arXiv:2401.01860.
8. DeepSeek-AI. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv:2405.04434.
9. DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437.
10. Qwen Team. Qwen3 Technical Report. 2025.
11. Du N et al. GLaM: Efficient Scaling of Language Models with Mixture-of-Experts. arXiv:2112.06905.
12. Komatsuzaki A et al. Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints. ICLR 2023.
13. Zhou Y et al. Mixture-of-Experts with Expert Choice Routing. NeurIPS 2022.
14. Lewis M et al. BASE Layers: Simplifying Training of Large, Sparse Models. ICML 2021.
15. Chen T et al. Routing Mismatch: A Self-Distillation Framework for Mixture-of-Experts. arXiv:2401.13933.
16. Chi Z et al. On the Representation Collapse of Sparse Mixture of Experts. NeurIPS 2022.
17. Huang Q et al. Expert Specialized Training: Routing-Based Sparse Expert Allocation. arXiv:2402.06823.
18. Wang H et al. Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts. arXiv:2408.15664.
19. Shazeer N et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR 2017.
20. Riquelme C et al. Scaling Vision with Sparse Mixture of Experts. NeurIPS 2021.
21. Gururangan A et al. From Sparse to Soft Mixtures of Experts. ICLR 2022.
22. Mustafa B et al. Multilingual Language Model Pretraining Using Auxiliary Routes for Sparse Mixture-of-Experts. arXiv:2403.04522.