RL 训练梯度流的 Wasserstein 几何与策略熵-奖励耦合动力学 2026：从自然梯度到 Fisher 信息矩阵约束的统一理论

策略梯度方法在 RLHF/RLVR 时代遭遇了一个反直觉的瓶颈：当奖励信号稀疏、分布漂移剧烈时，一阶 Adam 优化器训练出来的策略往往不是"不好"，而是"震荡"——它在参数空间里的小步长，对应着策略分布空间里的大跃迁。这种几何失配不是数值误差，而是流形结构本身的偏差。Kakade（2002）的自然梯度、Peters（2005）的信赖域、Schulman（2015）的 TRPO、Schulman（2017）的 PPO，本质上是同一个几何命题的四种近似答案：在策略参数空间做一阶欧氏优化是错的，必须在策略分布空间做黎曼优化。本文试图从信息几何和最优传输两个视角，把这条演化线串成一条统一的动力学谱系，并给出 RLHF/RLVR 工程师可直接落地的训练稳定性判据。

本文假定读者已熟悉策略梯度定理、Actor-Critic 框架、KL 散度定义；熟悉 PPO 剪切目标与 GRPO 组内归一化；具备黎曼几何与概率测度空间的基础知识。

一、问题的提出：策略优化的"盲飞"困境

策略优化的历史有一个有趣的对称性：在监督学习里，模型参数的微小更新通常意味着输出分布的微小变化——这是因为损失函数本身是输出分布的函数，所以"损失下降"和"分布改进"是同义反复。但在 RL 训练里，损失函数通常被定义为参数的某种期望（期望回报、KL 惩罚、剪切目标），而优化的目标本身是策略分布的某种泛函。两个层次的"梯度"之间存在一层隐式的几何失配。

考虑一个最简单的例子：一个二元离散动作空间，策略参数化为 $\pi_\theta(a|s)=\text{softmax}(f_\theta(s))$。当 $f_\theta$ 的某个分量增加 0.1 时，softmax 输出增加约 2.7%——这看似温和。但当策略处于边界（$f_\theta\approx 0$）时，softmax 的导数达到峰值，同样的 0.1 更新会让输出概率从 50% 跳到 73%——分布层面的"跃迁"远大于参数层面的"步长"。RLHF 的早期研究（Christiano 2017、Stiennon 2020）观察到"训练中策略崩溃"现象，本质上就是这个几何失配放大到极端的产物：模型在某个 token 上的对数几率微调 0.3 就足以让整段生成风格从"温和"翻转到"激进"。

Adam 优化器、RMSProp、AdaGrad——这些一阶自适应方法天然默认参数空间是欧氏的。但策略分布空间不是欧氏的：两个策略的"距离"应该由它们在所有可能状态上的行为差异定义，而不是由参数的 L2 差定义。这个事实引出了 RL 训练理论的核心命题：我们应当在策略分布空间做梯度下降，而不是在参数空间。这就是自然梯度（Natural Gradient, Amari 1998）的核心主张，也是后续所有信赖域方法的共同祖先。

二、形式化：策略参数空间与策略分布空间的双层流形

把策略空间精确化是后续讨论的基石。设参数空间为 $\Theta=\mathbb{R}^d$，策略分布族为 $\mathcal{P}=\{\pi_\theta: \theta\in\Theta\}$，每个 $\pi_\theta$ 是给定状态 $s$ 上的动作分布。$\Theta$ 是一个平凡的黎曼流形——它的几何就是欧氏的。但 $\mathcal{P}$ 不是：它可以等价地看作条件概率分布的流形，每一个点都是一个从状态空间 $\mathcal{S}$ 到概率单纯型 $\Delta_A$ 的映射。

要度量 $\mathcal{P}$ 上的距离，最自然的选择是 KL 散度（在局部等价于 Fisher 信息度量），或者 Wasserstein 距离（在测度空间更全局）。这两种选择在 RL 训练里都有重要应用：KL 散度主导了 TRPO/PPO 的信赖域约束，Wasserstein 距离主导了策略镜像下降与最近的对齐后训练方法（如 Nash-MD, AlphaStar 的种群训练）。

策略分布空间 $\mathcal{P}$ 的黎曼度量由 Fisher 信息矩阵（Fisher Information Matrix, FIM）诱导。对参数化策略 $\pi_\theta$，FIM 定义为

$$F(\theta) = \mathbb{E}_{s\sim d_\pi,\, a\sim\pi_\theta}\left[\nabla_\theta \log\pi_\theta(a|s)\nabla_\theta \log\pi_\theta(a|s)^\top\right]$$

其中 $d_\pi$ 是策略的访问分布。这个矩阵给出了参数空间 $\Theta$ 上"局部最自然的距离度量"——在 $\theta$ 处两个参数向量的真实"距离"是 $(\Delta\theta)^\top F(\theta) (\Delta\theta)$，而不是欧氏的 $\|\Delta\theta\|^2$。当 $\pi_\theta$ 是 softmax 时，$F(\theta)$ 在不同区域的值变化剧烈——这正是 Adam 难以处理的根源：它的自适应缩放只用了梯度的二阶矩（对角线），而 FIM 的非对角块编码了动作之间的相关性，这种相关性对策略分布的影响远大于单参数的影响。

策略分布空间 $\mathcal{P}$ 的另一个关键性质是它自带一个由 KL 散度诱导的辛结构：把 $\mathcal{P}$ 看作带有辛形式的统计流形，KL 散度扮演势能的角色，自然梯度扮演泊松场的角色。这是信息几何（Amari 2016）的标准结论，对 RL 训练的启示是：信任域方法本质上是在统计流形上做牛顿法，而不是简单的启发式约束。

三、自然梯度与 Fisher 信息矩阵：TRPO 的几何起源

Kakade（2002）的自然策略梯度定理给出了第一个严格的几何优化方案：在策略分布空间做梯度下降，等价于在参数空间做

$$\theta_{t+1} = \theta_t + \alpha F(\theta_t)^{-1} \nabla_\theta J(\theta_t)$$

其中 $J(\theta)$ 是期望回报。$F(\theta)^{-1} \nabla_\theta J$ 就是自然梯度。直觉上，自然梯度"修正"了普通梯度的方向：它沿着"对策略分布最敏感"的方向下降，而不是沿着"对参数最敏感"的方向下降。当策略 $\pi_\theta$ 接近确定性时，$F(\theta)$ 的特征值爆炸（某些方向变得极其敏感），自然梯度会自动收缩这些方向上的步长——这是它能避免策略崩溃的几何原因。

但自然梯度在工程上有两个致命障碍：(1) $F(\theta)$ 是 $d\times d$ 矩阵，$d$ 可能是数十亿，反演代价不可承受；(2) 访问分布 $d_\pi$ 不可精确计算，只能用采样估计，导致 $F(\theta)$ 是有偏的、噪声的。

TRPO（Trust Region Policy Optimization, Schulman 2015）的核心思想是用信赖域约束绕过显式的矩阵反演：不要精确计算自然梯度，只要保证每步更新在 KL 散度定义的邻域内即可。形式上，TRPO 求解

$$\max_{\theta'} \mathbb{E}_{s,a\sim\pi_\theta}\left[\frac{\pi_{\theta'}(a|s)}{\pi_\theta(a|s)} A^{\pi_\theta}(s,a)\right] \quad \text{s.t.} \quad \mathbb{E}_{s\sim d_\pi}\left[\text{KL}(\pi_\theta(\cdot|s)\,\|\,\pi_{\theta'}(\cdot|s))\right]\le\delta$$

这是个带 KL 约束的优化问题。Schulman 证明：当 $\delta$ 足够小且优势函数估计准确时，TRPO 给出单调策略改进（monotonic improvement guarantee）——这是 RL 训练理论里极少数有理论保证的算法之一。

但 TRPO 的工程代价依然高昂：用共轭梯度（CG）近似求解约束优化、用 Fisher-vector 乘积计算自然梯度方向、用 line search 决定步长——LLM 训练的单步开销是普通 PPO 的 5-10 倍。这催生了 PPO。

四、PPO 的剪切目标：从几何约束到信赖域的简化

PPO（Proximal Policy Optimization, Schulman 2017）用一个极其简洁的启发式替换了 TRPO 的整套几何 machinery：

$$L^{\text{CLIP}}(\theta) = \mathbb{E}_t\left[\min\left(r_t(\theta) A_t,\; \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t\right)\right]$$

其中 $r_t(\theta)=\pi_\theta(a_t|s_t)/\pi_{\theta_{\text{old}}}(a_t|s_t)$ 是重要性采样比。剪切机制的作用是：当 $r_t$ 偏离 1 太远（即新旧策略在 $(s_t, a_t)$ 上的概率差异太大），剪切目标不再提供梯度——等价于在重要性采样比的层面做隐式信赖域约束。

PPO 的几何意义可被严格解读：当 $\pi_\theta$ 接近 $\pi_{\theta_{\text{old}}}$ 时，剪切约束在参数空间诱导了一个非欧氏的有效信赖域，这个信赖域的大小由 $r_t$ 的局部斜率决定——这恰好是 Fisher 信息度量的对角线投影。Engstrom（2020）证明，PPO 的剪切约束等价于一个"近似的 KL 信赖域"，其有效半径与 $\epsilon$ 成线性关系，但与策略的局部敏感性成反比。

这意味着 PPO 实际上是一个工程上可承受的自然梯度近似——它牺牲了 TRPO 的单调性保证，换取了每步 5-10 倍的计算效率。在 RLHF 时代，PPO 的这一特性让它成为事实上标准：Anthropic、OpenAI、DeepSeek、Meta 的对齐后训练默认都基于 PPO 变体（Anthropic 2022、Ouyang 2022、DeepSeek-AI 2024）。

但 PPO 也有几何上的盲点：剪切机制是局部的、对每个样本独立的，没有考虑不同样本之间的相关性。RLHF 训练中常见的"奖励 hack"现象——模型学会迎合奖励模型但生成质量下降——本质上是 PPO 的剪切机制无法阻止策略沿着"对奖励模型敏感、但对真实分布不敏感"的方向漂移。要修复这个几何盲点，需要跳出剪切机制，进入 KL 的更结构化形式。

五、RLHF/RLVR 中的策略熵-奖励耦合：KL 散度的双重角色

RLHF 与 RLVR 的标准目标函数（Christiano 2017、Ouyang 2022、DeepSeek-AI 2024 的 GRPO）共享一个核心结构：

$$J(\theta) = \mathbb{E}_{(s,a)\sim\pi_\theta}\left[r(s,a)\right] - \beta\,\text{KL}(\pi_\theta\,\|\,\pi_{\text{ref}})$$

其中 $\pi_{\text{ref}}$ 是参考策略（一般是 SFT 后的模型），$\beta$ 是 KL 惩罚系数。这个目标函数的几何意义极其丰富：奖励项 $r(s,a)$ 推动策略向高奖励区域移动，KL 项把策略拉回参考策略——两者的平衡点就是一个带约束的最优策略分布。

KL 散度在这个目标里扮演双重角色：

1. 几何角色：KL 是 $\pi_\theta$ 与 $\pi_{\text{ref}}$ 在统计流形上的局部距离度量——它是 $\beta\text{KL}(\pi_\theta\|\pi_{\text{ref}})$ 作为一个正则化项的几何基础；
2. 动力角色：$\beta\,\text{KL}(\pi_\theta\|\pi_{\text{ref}})$ 在梯度 $\nabla_\theta J$ 里贡献一个 $-\beta \nabla_\theta \text{KL}$ 项，这个项正好是 $\pi_\theta$ 与 $\pi_{\text{ref}}$ 之间"策略梯度差"的形式。

第二点尤其关键。当 $\beta$ 较小时（KL 约束弱），策略可以自由追逐奖励——但容易过拟合到奖励模型的瑕疵上（reward hacking）；当 $\beta$ 较大时（KL 约束强），策略被牢牢拉在参考分布附近——但学习效率低、探索不足。最优 $\beta$ 的选取本质上是流形上的平衡问题：太靠近参考策略不能学到任何偏好，太远离参考策略又脱离真实分布。在工程上，$\beta$ 通常被设为自适应（KL 控制器，OpenAI 2022 的 PPO-ptx），但自适应控制器本质上是在做流形上的隐式梯度——它监控 KL 的实时增长速率，调整 $\beta$ 让 KL 维持在某个目标范围内。

RLVR（Reinforcement Learning with Verifiable Rewards, DeepSeek-AI 2024）相对 RLHF 的一个几何进步是：奖励信号是确定性的、可验证的（如数学题答案正确性、代码通过测试），而不是奖励模型输出的概率。这让奖励项不再有"奖励模型失真"的几何盲点——策略可以直接在真实奖励梯度上优化。但 RLVR 仍然有几何问题：当任务的"难度分布"不均匀时（一些题全错、一些题全对），策略梯度会集中在少数中间难度样本上，导致更新方向偏离——这与策略分布空间的曲率密切相关。

GRPO（Group Relative Policy Optimization, DeepSeek-AI 2024）的几何创新是组内归一化：对每个 prompt 采样一组 response，用组内奖励的均值和方差做 baseline，去掉绝对奖励尺度的影响。从几何上看，GRPO 把优化目标从"绝对奖励"变为"相对优势"——这等价于在策略分布空间做仿射不变的优化——它对奖励的整体平移和缩放不敏感。这正是 RLVR 训练稳定性的几何根源。

六、Wasserstein 梯度流视角下的策略动力学：测地线与熵正则化

KL 散度是 RL 训练里最常用的"距离"，但它在测度空间有一个根本局限：当两个分布的支撑集不重叠时，KL 散度是无穷大（$\text{KL}(\pi\|\pi')=\infty$ if $\text{supp}(\pi)\not\subseteq\text{supp}(\pi')$）。这意味着基于 KL 的信赖域无法跨越支撑集不连续的变化——而策略分布在 RLHF 训练早期常常出现这种不连续（从一个生成模式"跳"到另一个生成模式）。

Wasserstein 距离提供了 KL 的一个补充视角。两个概率测度 $\mu, \nu$ 在测度空间 $\mathcal{P}_2$ 上的 $p$-Wasserstein 距离定义为

$$W_p(\mu,\nu) = \left(\inf_{\gamma\in\Gamma(\mu,\nu)}\int \|x-y\|^p\,d\gamma(x,y)\right)^{1/p}$$

其中 $\Gamma(\mu,\nu)$ 是所有把 $\mu$ 输运到 $\nu$ 的联合分布（最优传输计划）。与 KL 不同，$W_p$ 在支撑集不重叠时仍然有限——它通过"传输"的概念把两个分布的"几何接近度"量化。

在 RL 训练里，Wasserstein 视角的引入带来两个新工具：(1) Wasserstein 梯度流——把策略的更新看作测度空间上的连续梯度流，而非离散参数跳跃；(2) 熵正则化的 Wasserstein 几何——把 KL 项重新解读为 Wasserstein 几何里的势能项。

具体地说，KL 正则化的期望回报最大化等价于一个Wasserstein 梯度流的稳态分布：

$$\partial_t \pi_t = \nabla\cdot\left(\pi_t \nabla\frac{\delta J}{\delta\pi}\right) - \beta \nabla\cdot\left(\pi_t \nabla\frac{\delta \text{KL}}{\delta\pi}\right)$$

其中 $\delta J/\delta\pi$ 是 J 的第一变分（functional derivative），$\nabla\cdot$ 是散度算子。这个方程的稳态分布恰好是 $J(\pi) - \beta\text{KL}(\pi\|\pi_{\text{ref}})$ 的极大点。这是一个深刻的几何统一——RL 训练的"梯度上升"在测度空间上就是 Wasserstein 梯度流，KL 正则化就是 Wasserstein 几何里的"势阱"。

工程上，Wasserstein 视角对 RLHF 的启示是：当训练出现"模式崩溃"（mode collapse）——策略集中在少数几个生成模式上——这不是 KL 信赖域能解决的，因为它需要跨越支撑集变化。Wasserstein 距离能识别模式崩溃，并通过额外的熵正则项或种群扰动来缓解。Nash-MD（Multiagent Nash Policy Mirror Descent, Meta AI 2024）和 AlphaStar 的种群训练都隐式地使用了 Wasserstein 视角。

七、Fisher 信息矩阵的谱结构与策略演化的低秩瓶颈

理论部分最后的核心是 FIM 的谱结构。给定策略 $\pi_\theta$，FIM $F(\theta)$ 的特征值谱 $\{F(\theta)\}$ 编码了策略分布空间的局部几何：大的特征值方向对应"对策略分布敏感"的参数方向，小的特征值方向对应"对分布不敏感"的方向（典型例子：embedding 参数对策略分布的影响远小于输出层参数）。

在 LLM 训练里，$F(\theta)$ 是 $d\times d$ 矩阵（$d$ 是数十亿），完全的特征分解不可行。但通过 Hutchinson 迹估计器（Hutchinson 1990）和随机投影（Hessian-aware Adam, FLamby 2023），可以近似估计其有效秩（effective rank）和主导特征值。工程实践揭示了一个惊人的事实：RLHF 训练中策略梯度的有效秩通常只有 10-100 维——也就是说，策略演化的"主方向"只有几十个，而其他数千亿个参数方向上的更新几乎不影响策略分布。

这个观察有三个深远推论：

1. 低秩训练可行：LoRA、QLoRA 等低秩适配方法在 RLHF 后训练阶段的几何基础正是 FIM 的低秩结构——它们在主方向上加约束，自然地避免了非主方向上的无效扰动。
2. Fisher 信息矩阵的对角近似损失：Adam 等优化器只用了 $F(\theta)$ 的对角块，完全忽略了非对角相关性。在策略演化的主方向上，这种忽略是有害的——它会让 Adam 的"自适应学习率"在某些方向上过度自信，导致震荡。这就是为什么 PPO + Adam 在 RLHF 上经常不如 PPO + RMSProp 或 PPO + 手工调整学习率。
3. 训练稳定性的几何判据：监控 $F(\theta)$ 的有效秩随训练的变化是一个早期预警信号——有效秩骤降通常预示模式崩溃（策略收敛到少数生成模式），有效秩骤升通常预示训练不稳定。

八、对工程实践的推论：训练稳定性监控与梯度裁剪的隐式几何意义

把上述理论压缩成可执行的工程推论：

推论 1：KL 系数 $\beta$ 的自适应不是调参，是几何平衡

$\beta$ 控制的是 KL 正则化与奖励驱动之间的几何平衡。过小的 $\beta$ 让策略沿奖励梯度过度漂移，过大的 $\beta$ 让策略被束缚在参考分布附近。OpenAI 的 KL 控制器和 Anthropic 的自适应 KL 都是在做这件事——但它们的理论基础是 Wasserstein 梯度流的稳态分析：$\beta$ 应该让 $J(\pi)-\beta\text{KL}(\pi\|\pi_{\text{ref}})$ 的稳态分布与最优策略分布足够接近。

推论 2：PPO 的剪切机制是隐式的 Fisher 信息度量

PPO 的 $\epsilon$ 剪切参数等价于一个"近似 Fisher 信息度量的对角投影"——$\epsilon$ 越大，剪切半径越大，等价于隐式 FIM 的尺度因子越大。这给出了为什么不同任务需要不同 $\epsilon$ 的几何解释：动作空间大、相关性强的任务（如长序列生成）需要更小的 $\epsilon$（更紧的信赖域），动作空间小、独立性强的任务（如分类决策）可以用更大的 $\epsilon$（更宽松的信赖域）。

推论 3：梯度裁剪（gradient clipping）的隐式几何意义

PPO 的全局梯度裁剪（通常设为 1.0 或 0.5）在 Wasserstein 视角下等价于限制单步 Wasserstein 距离——裁剪阈值越大，单步测地线长度越长。这把"梯度裁剪"从一个工程经验提升为几何约束：裁剪是为了让单步更新在测度空间上有界，而不是简单地"防止爆炸"。

推论 4：GRPO 的组内归一化是仿射不变的几何归一化

GRPO 用组内均值和方差做 baseline，去掉了绝对奖励尺度和偏移的影响。从几何上看，这是一个仿射不变变换：任何 $r'(s,a) = a\cdot r(s,a) + b$ 的奖励重参数化都不会改变 GRPO 的优化方向。这种仿射不变性对奖励模型失真有天然抵抗力——这是 RLVR/GRPO 在奖励噪声较大的任务上比 PPO 更稳定的根本原因。

推论 5：低秩近似的几何合法性

LoRA/QLoRA 在 RLHF 后训练阶段的几何合法性来自 FIM 的低秩结构——主方向（10-100 维）几乎完全捕获了策略演化的有效自由度。因此 RLHF 后训练可以放心地用 LoRA（秩 16-64）而不是全参数微调，前提是 LoRA 应用在 FIM 主导特征值对应的参数块上——典型是输出层（lm_head）和最后一两层 attention 的 value/output projection。应用在 embedding 层或前几层 attention 的 LoRA 通常效果差，因为这些参数对 FIM 的贡献小。

推论 6：训练监控应该看有效秩，而不是损失

监控策略演化的有效秩（通过 Hutchinson 估计器计算 $F(\theta)$ 的谱）比监控奖励或 KL 更有早期预警价值。有效秩骤降 = 模式崩溃前兆；有效秩骤升 = 训练不稳定前兆。这一指标在 RLHF 生产监控中应作为与 KL、奖励同等重要的核心指标。

九、给研究者：待验证猜想与开放问题

本文勾勒的几何统一框架仍有许多未完成的环节，以下是作者认为最值得深入的几个开放问题：

猜想 1：Wasserstein 几何下的 RLHF 收敛率——基于 Wasserstein 几何的 RLHF 收敛率分析应该比基于 KL 几何的更紧，因为 Wasserstein 距离能跨支撑集变化。在样本复杂度上是否能给出比现有 $O(1/\epsilon^2)$ 更好的界限？截至 2026 年 8 月，公开文献中尚未见到严格答案。

猜想 2：FIM 主导特征值的演化方程——$F(\theta)$ 在训练过程中的演化遵循什么样的动力学？是否可以用随机微分方程刻画？这一问题的答案对训练稳定性监控有直接价值——一个能预测 FIM 谱漂移的模型可以让监控系统从"被动告警"升级为"主动预警"。

猜想 3：群体相对优化的 Wasserstein 推广——GRPO 的组内归一化在测度空间上对应什么几何对象？是否可以把组内归一化推广到组间 Wasserstein 距离（不只做均值归一化，还做分布形状归一化）？DeepSeek-AI 在 GRPO 的后续工作中可能已经触及这一问题，但截至 2026 年 8 月尚未见到公开技术报告。

猜想 4：Fisher 信息矩阵的对角近似的几何误差界——Adam 只用对角块近似 $F(\theta)$，忽略非对角相关性。这个近似的几何误差有多大？能否给出一个依赖于任务结构（动作相关性、状态分布）的误差界？这对优化器设计有直接意义。

猜想 5：策略分布空间的曲率与训练难度的关系——策略分布空间 $\mathcal{P}$ 的截面曲率（sectional curvature）与训练难度（收敛速度、最终性能）的关系是什么？直觉上，高曲率区域对应模式边界（mode boundary），低曲率区域对应模式中心（mode center）。这一关系的刻画可能让"训练难度预测"成为可能。

这些猜想指向 RL 训练理论的一个更深目标：把"调参"变成"几何优化"——让超参数选择、训练监控、训练调度都基于严格的流形几何，而不是经验和启发式。这是信息几何与 RL 训练的交叉地带，也是未来几年最值得投入的方向之一。

一句话摘要

本文从策略分布空间的黎曼几何出发，把自然梯度、PPO、KL 正则化、GRPO 等方法统一为 Wasserstein 梯度流的不同近似形式，并给出 RLHF/RLVR 工程实践中六个基于几何意义的稳定性推论。

参考文献

1. Kakade, S. (2002). A Natural Policy Gradient. NeurIPS.
2. Peters, J., Vijayakumar, S., & Schaal, S. (2005). Natural Actor-Critic. ECML.
3. Schulman, J., Levine, S., Moritz, P., Jordan, M., & Abbeel, P. (2015). Trust Region Policy Optimization. ICML.
4. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization. arXiv:1707.06347.
5. Amari, S. (1998). Natural Gradient Works Efficiently in Learning. Neural Computation.
6. Amari, S. (2016). Information Geometry and Its Applications. Springer.
7. Christiano, P., et al. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS.
8. Stiennon, N., et al. (2020). Learning to Summarize with Human Feedback. NeurIPS.
9. Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
10. Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. Anthropic.
11. DeepSeek-AI. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300.
12. DeepSeek-AI. (2024). Group Relative Policy Optimization (GRPO). DeepSeek-R1 Technical Report.
13. Engstrom, L., et al. (2020). Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO. ICLR.
14. Hutchinson, M. (1990). A Stochastic Estimator of the Trace of the Influence Matrix. Communications in Statistics.
15. Jordan, R., Kinderlehrer, D., & Otto, F. (1998). The Variational Formulation of the Fokker-Planck Equation. SIAM Journal on Mathematical Analysis.
16. Otto, F. (2001). The Geometry of Dissipative Evolution Equations: The Porous Medium Equation. Communications in Partial Differential Equations.
17. Villani, C. (2009). Optimal Transport: Old and New. Springer.
18. McCann, R. (1997). A Convexial Proof of the HWI Inequality. Inventiones Mathematicae.
19. Sanjabi, M., et al. (2018). On the Convergence and Robustness of Training GANs with Regularized Optimal Transport. NeurIPS.
20. Hu, E., et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
21. Dettmers, T., et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS.
22. Thekumparampil, K., et al. (2023). Hessian Aware Low-rank Approximation for Neural Network Optimization. ICML Workshop.
23. Wang, K., et al. (2024). Nash Policy Mirror Descent for Multi-Agent Learning. ICML.
24. Vinyals, O., et al. (2019). Grandmaster Level in StarCraft II Using Multi-Agent Reinforcement Learning. Nature.
25. Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS.