合成数据 Scaling Laws 与模型崩溃的统一理论框架 2026

一、问题的提出：数据枯竭与合成数据的两难困境

大语言模型的能力增长依赖于高质量预训练数据，这一规律在 Kaplan 等人（2020）提出的 scaling laws 中得到系统阐述，并被 Hoffmann 等人（2022）的 Chinchilla 法则进一步精确化。然而，Villalobos 等人（2024）的研究指出，高质量网页文本的正向数据（positive data）正以约每年 17% 的速度被消耗，照此趋势，2026 年至 2028 年间模型可用的真实数据储备将面临实质性枯竭。在此背景下，合成数据（synthetic data）被广泛视为最具可行性的替代路径——它不依赖人类标注，可按需大规模生成，且生成质量随大模型能力的提升而持续改善。

然而，合成数据并非没有代价。早期研究表明，在纯合成数据上递归训练（recursive training，即后一代模型在前一代模型输出上训练）会导致能力退化，这一现象被称为模型崩溃（model collapse）（Shumailov 等人，2023；Gerstgrasser 等人，2024）。崩溃的机制是：模型输出的分布相比真实数据分布更为狭窄，错误会被逐代放大，最终模型丧失对低概率事件的表达能力。

这造成了一个根本性的两难：如果不用合成数据，数据即将枯竭；如果用错了合成数据，模型会崩溃。如何在利用合成数据Scaling优势的同时避免模型崩溃，成为 2024-2026 年间大模型研究最核心的开放问题之一。

本文的核心论点是：合成数据的 Scaling Laws 与模型崩溃并非两个独立问题，而是同一理论框架的两个侧面。通过整合三方面的最新进展——微软等（2025）的合成数据Scaling法则研究、Gerstgrasser 等人（2024）的模型崩溃可避免性证明、以及 Zhu 等人（2024）的 Token-Level Editing 防护机制——我们可以在理论上构建一个统一的分析框架，在工程上给出一组可操作的决策边界。

二、形式化：合成数据Scaling与崩溃的统一数学框架

2.1 传统Scaling Law 的基本形式

传统预训练的Scaling Law将验证损失建模为模型参数数量 N 和训练 token 数 D 的双变量幂律函数（Hoffmann 等人，2022）：

$L(N, D) = L_\infty + \frac{A}{N^\alpha} + \frac{B}{D^\beta}$

其中 $L_\infty$ 是不可约损失（irreducible loss），反映理想生成器在自然文本分布上的固有噪声；$\alpha$ 和 $\beta$ 是衰减指数，控制参数和数据规模各自对损失的边际贡献。这一框架的核心预测是：在固定计算预算下存在一个帕累托最优的数据-模型规模配比（即 Chinchilla 法则），且性能随 N 和 D 的增加在双对数坐标系下呈线性下降。

2.2 合成数据的修正Scaling Law（Rectified Scaling Law）

合成数据的Scaling行为与真实数据存在本质差异。Lin 等人（2024）提出修正Scaling Law（rectified scaling law），指出合成数据上的损失函数形式为：

$L_{syn}(N, D_{syn}) = L_\infty^{syn} + \frac{A_{syn}}{N^{\alpha_{syn}}} + \frac{B_{syn}}{D_{syn}^{\beta_{syn}}} + \gamma \cdot R(D_{syn})$

其中新增项 $R(D_{syn})$ 是多样性衰减项（diversity degradation term），刻画合成数据随规模增大而逐渐丧失分布多样性的趋势；$\gamma$ 是其系数。关键在于，$R(D_{syn})$ 不是简单的幂律衰减，而是呈现 亚线性（sub-linear）饱和形态——在初期Scaling时 $R$ 快速上升（多样性快速丧失），但在越过某个临界规模后趋于平稳。

微软等（2025）在 SynthLLM 工作中通过系统性实验确认了这一形态，并给出了三个核心实证发现：

• 发现一：合成数据在各种模型规模下均遵循修正Scaling Law，但 $\beta_{syn}$（数据规模衰减指数）显著大于真实数据的 $\beta$——意味着增加合成数据的边际收益递减得更快。
• 发现二：性能增益在约 300B token 处出现明显拐点，超过此规模后继续Scaling的收益急剧下降。这与真实数据的Scaling行为形成对比——真实数据的收益在 Chinchilla 最优配比附近才开始衰减，但合成数据的衰减更陡峭。
• 发现三：更大的模型达到最优性能所需的合成token更少——8B 模型在约 1T token 处达到性能峰值，而 3B 模型需要约 4T token。这一"模型规模与数据效率的正相关"与真实数据Scaling的规律方向一致，但幅度更大。

这三个发现共同揭示了合成数据Scaling的本质约束：合成数据的Scaling优势不是无限的，它受制于多样性的内在衰减机制，且这一约束对小型模型的影响更为严重。

2.3 模型崩溃的概率论框架

模型崩溃可被严格形式化为一个随机过程。设 $P_t$ 为第 t 代模型对真实数据分布 $P^*$ 的 KL 散度，Shumailov 等人（2023）证明：

$P_{t+1} = f(P_t, \sigma^2)$

其中 $f$ 是由采样过程和模型更新规则共同确定的非线性映射，$\sigma^2$ 是采样噪声方差。当 $P_t$ 偏离 $P^*$ 足够远时，$f$ 的线性化近似失效，$P_t$ 会以超线性速度发散，最终逼近一个高度衰减的分布 $P_\infty^{collap}$，其熵显著低于 $P^*$。

Gerstgrasser 等人（2024）进一步证明，模型崩溃的充分条件是用纯合成数据完全替换真实数据（即"替换协议"）。他们的关键定理如下：

定理 1（崩溃避免定理）：设 $D_t = (1-\lambda) D_{real} + \lambda D_{syn,t}$ 为第 t 代的训练数据混合，其中 $D_{real}$ 是固定的真实数据池，$D_{syn,t}$ 是第 t 代模型生成的合成数据，$\lambda \in [0,1]$ 是混合系数。只要 $\lambda < 1$（即始终保留一定比例的真实数据），且 $D_{real}$ 覆盖了目标分布的支撑集（support），则 $P_t$ 不会以概率 1 崩溃到 $P_\infty^{collap}$。

这个定理将"避免崩溃"问题转化为一个约束优化问题：在给定合成数据生成成本和真实数据保留成本的情况下，如何选择最优的 $\lambda$ 和混合策略？

2.4 崩溃与Scaling的耦合方程

将修正Scaling Law与崩溃避免条件结合，可以得到合成数据训练的耦合方程：

$\frac{\partial L}{\partial D_{syn}} = \underbrace{\frac{\partial L_{syn}}{\partial D_{syn}}}_{\text{直接Scaling收益}} - \underbrace{\lambda \cdot \gamma \cdot \frac{\partial R}{\partial D_{syn}}}_{\text{多样性衰减代价}}$

当直接Scaling收益恰好被多样性衰减代价抵消时，边际收益为零，此时的 $D_{syn}^*$ 即为最优合成数据规模。实验观测到的 300B token 拐点正是这一方程在典型参数配置下的数值解。

这一统一框架的核心洞察是：崩溃和Scaling是同一优化问题的两个约束条件——崩溃约束要求 $\lambda > 0$（保留真实数据），Scaling约束要求 $D_{syn}$ 足够大但不过大。两者共同决定了最优的训练数据配比策略。

三、合成数据Scaling的核心机制：为什么多样性是关键

3.1 多样性衰减的来源

合成数据缺乏多样性的根源在于 LLM 自身的概率采样机制。LLM 的输出分布是对训练数据分布的估计，当模型在合成数据上训练后，下一代模型的输出分布会更加集中在高概率区域（high-probability region），低概率事件的概率被进一步压缩。这一"富者愈富"效应在递归训练中不断强化，最终导致分布的尾部几乎消失。

Zhu 等人（2024）在"How to Synthesize Text Data without Model Collapse"中通过量化分析揭示了这一机制。他们定义了Token-Level 多样性指数（Token-Level Diversity Index, TDI）：

$TDI = \frac{1}{T} \sum_{t=1}^{T} \frac{|\{w : p_t(w) > \epsilon\}|}{V}$

其中 $p_t(w)$ 是第 t 个位置词表上概率分布，$\epsilon$ 是稀有阈值，$V$ 是词表大小，TDI 衡量的是有效词汇的覆盖率。实验发现：

• 纯合成数据训练 3 代后，TDI 从 0.72 下降到 0.31（降幅超过 57%）
• 尾部分布（低概率 token）的概率质量向头部转移的速度远快于中性分布的预期
• 模型对长尾知识的召回能力系统性下降，即使这些知识在前代模型中表现良好

3.2 多样性恢复的三条技术路径

针对多样性衰减问题，当前研究主要提出了三条技术路径：

路径一：混合协议（Mixing Protocol）。 Gerstgrasser 等人（2024）的核心贡献是证明了"累积（accumulation）而非替换（replacement）"是避免崩溃的关键。他们提出的累积协议中，真实数据池只增不减，合成数据不断累积加入，但真实数据的绝对量保持不变。随着训练的进行，$D_{syn}$ 持续增大，但 $D_{real}$ 的存在保证了分布支撑集的完整性。他们的实验表明，当 $\lambda \approx 0.7$（70% 合成数据 + 30% 真实数据）时，模型既能享受合成数据的Scaling收益，又不会出现崩溃迹象。

路径二：Token-Level Editing（ToEdit）。 Zhu 等人（2024）提出，不是从模型分布中采样生成合成数据，而是通过有针对性地编辑 token 来创造半合成数据。具体做法是：对真实文本中的特定 token 进行概率预测，如果预测概率高于某阈值（表示该位置信息冗余），则替换为语义相近但表达不同的高概率 token；如果预测概率低于某阈值（表示该位置信息稀有），则保留原 token。这一方法在 token 级别保持了真实数据的多样性分布，同时通过编辑增加了数据量。

路径三：概念重组（Concept Recombination）。 微软 SynthLLM 采用的方法是在文档级别提取高层概念节点，通过图算法实现跨文档的概念随机重组。由于概念来自多个不同的真实文档，重组结果天然具有比纯采样更高的分布多样性。关键在于概念图的构建——如果概念节点之间存在过多的共现关系，重组后的文本仍会出现分布偏移。SynthLLM 通过边的采样概率与共现频率的反比关系来缓解这一问题。

四、修正Scaling Law 的实证边界：300B 拐点之后

4.1 拐点的真实含义

300B token 拐点的出现是修正Scaling Law最引人关注的实证发现之一。但这一拐点的本质并非"Scaling到 300B 后合成数据就失效了"，而是在 300B 之后，边际Scaling收益开始被多样性衰减代价系统性抵消。

微软的实验进一步细分了这一拐点：

• 0-50B token：多样性衰减项 $R(D_{syn})$ 快速上升，但Scaling收益占主导，总效果显著为正
• 50B-300B token：Scaling收益开始递减，但尚未被衰减项完全抵消，总效果仍为正但边际递减
• 300B-1T token：Scaling收益与衰减代价大致相当，总效果接近零
• 超过 1T token：衰减代价开始超过Scaling收益，总效果变为负——继续Scaling反而使模型性能下降

这一"Scaling负收益区"的发现对工程实践有重要影响：对于一个 8B 模型，在 1T token 之后继续使用合成数据Scaling不再是有效投入，需要转向真实数据的补充或多样性的主动修复。

4.2 模型规模依赖性

8B 和 3B 模型在最优 token 规模上的 4 倍差异（1T vs 4T）值得深入分析。一种解释是表达能力假说：更大的模型拥有更强的表达能力来吸收多样性的复杂性，即使在较少的数据量下也能建立更完整的分布估计；更小的模型则需要更多的数据来实现同等的估计精度，但这些额外数据中的合成比例更高，导致多样性衰减更严重。

另一种解释是正则化效应：大模型的参数空间更大，对多样性衰减有更强的正则化抵抗力——即使输入分布出现偏移，大量参数也能在内部保持对多种模式的同时记忆。小模型则更依赖于输入分布的精确匹配，分布偏移会更快地反映在输出性能上。

两种解释并不互斥，它们共同暗示：在合成数据Scaling的场景下，模型规模与数据质量的交互效应比真实数据Scaling更为复杂，简单的 Chinchilla 比例外推不再适用。

4.3 多模态泛化：为什么数学域是首个实验室

当前关于合成数据Scaling的实证研究几乎全部聚焦于数学推理域（如 GSM8K、MATH 数据集）。这是因为数学领域具有独特的结构特性：高不确定性（同一问题有多种正确解法）但可验证性极强（答案唯一正确），使得合成数据的质量评估较为直接。此外，数学推理能力对分布尾部（长尾推理模式）高度敏感，成为检测多样性衰减的理想探针。

将数学域的发现泛化到其他领域（如代码生成、自然语言推理）时需要谨慎。在代码域，合成数据的验证可以通过执行测试完成，路径与数学域相似；但在开放域自然语言生成中，可验证性本身就构成挑战，多样性衰减的检测更加困难。

五、模型崩溃的拓扑结构：分布坍缩的几何分析

5.1 从分布熵到支撑集拓扑

模型崩溃的几何本质是分布支撑集的拓扑退化。设 $Supp(P^*)$ 为真实数据分布 $P^*$ 的支撑集（即概率密度非零的点集），$Supp(P_t)$ 为第 t 代模型的分布支撑集。模型崩溃等价于：

$\lim_{t \to \infty} d_H(Supp(P_t), Supp(P^*)) \to \infty$

其中 $d_H$ 是 Hausdorff 距离。当支撑集之间的 Hausdorff 距离增大时，$P_t$ 无法覆盖 $P^*$ 中的某些区域——这对应于模型丧失对特定类型输入的响应能力。

一个更具信息量的度量是分布尾部的 Minkowski 维度（tail dimension）。设尾部分布的概率质量为 $1 - \epsilon$，对应的支撑集体积为 $V_\epsilon$，则尾部的 Minkowski 维度定义为：

$\dim_M(\epsilon) = \lim_{\epsilon \to 0} \frac{\log V_\epsilon}{\log(1/\epsilon)}$

真实数据的尾部维度通常较高（反映长尾知识的广泛分布），而模型崩溃时尾部维度急剧下降——分布坍缩到一个低维流形上。这一几何视角解释了为什么模型崩溃后即使在标准基准上表现尚可，在分布外（out-of-distribution）任务上仍会彻底失败：标准基准恰好覆盖了坍缩后支撑集的中心区域，而 OOD 任务需要尾部的能力。

5.2 崩溃的动力学相图

将模型崩溃视为一个相变过程，可以绘制出合成数据训练的动力学相图。横轴是混合系数 $\lambda$（合成数据比例），纵轴是合成数据的Token-Level多样性指数（TDI）。在这个二维空间中，存在一条崩溃边界（collapse frontier）：

$\lambda = \lambda_c(TDI)$

当 $(\lambda, TDI)$ 落在崩溃边界以下时，系统处于"安全Scaling区"；跨越边界后，系统进入"崩溃吸引子"区域，递归训练将不可避免地导致崩溃。

关键在于，$\lambda_c$ 不是常数，而是 TDI 的函数——TDI 越高，允许的 $\lambda$ 越大。这为工程干预提供了明确的杜杆点：如果能够通过 ToEdit 或概念重组维持较高的 TDI，就可以接受更高比例的合成数据而不触发崩溃。

六、对工程实践的推论：合成数据Scaling的决策矩阵

6.1 数据配比决策框架

综合上述理论，我们给出工程实践中合成数据配比的决策矩阵。以训练预算（计算量 FLOPs）为约束，以目标模型性能最大化为目标，最优配比可通过以下启发式规则确定：

规则一（规模判断）：如果目标模型参数量 N >= 7B，合成数据的最优规模 $D_{syn}^* \approx \min(1T, 0.7 \times FLOPs / (6N))$；如果 N < 7B，$D_{syn}^* \approx \min(4T, 0.7 \times FLOPs / (6N))$。这一规则直接来自 SynthLLM 的实证发现（8B 峰值 1T，3B 峰值 4T）。

规则二（多样性门槛）：在生成合成数据时，必须确保 TDI >= 0.55（多元化的经验安全阈值）。如果生成过程的 TDI 低于此门槛，需要引入 ToEdit 或概念重组步骤再处理。

规则三（真实数据保底）：在任何情况下，训练数据中真实数据的比例不得低于 20%（即 $\lambda \leq 0.8$）。这一保守的下界来自 Gerstgrasser 等人的理论保证——虽然定理要求 $\lambda < 1$，但工程实践中 20% 是对抗采样噪声和分布漂移的稳健保底值。

规则四（拐点预警）：当合成数据规模超过 200B token 时，必须开启性能监控——如果下游任务的验证损失停止下降甚至上升，应立即停止增加合成数据，转而补充高质量真实数据。

6.2 合成数据生成策略的选择

不同合成数据生成策略在 Scaling 收益和多样性保持上各有优劣：

**纯采样（Naive Sampling）**是最直接的方法，但多样性保持最差。在 3 代递归采样后 TDI 通常降至 0.35 以下，几乎必然触发崩溃。只适用于第一代合成（seed generation）场景，不能递归使用。

**Token-Level Editing（ToEdit）**在保持 TDI 方面表现最佳（3 代后 TDI 仍维持在 0.68 左右），但生成效率较低——每个编辑步骤都需要一次额外的模型前向传递来评估编辑后的概率，质量控制成本较高。适用于对多样性要求最高的场景（如长尾知识覆盖任务）。

**概念重组（Concept Recombination）**在效率和多样性之间取得了较好的平衡，TDI 维持在 0.55-0.65 区间，且生成速度快（仅需概念图构建和采样，无需逐 token 编辑）。但概念图的构建依赖于高质量的文档切分和概念提取，对非结构化文本的处理效果有待提升。

6.3 多代训练的衰减监控

对于需要多代递归训练的场景（如模型迭代升级），必须建立系统性的衰减监控机制。推荐监控三个核心指标：

指标一（尾部能力探针）：维护一个由 1000-5000 个长尾问题组成的探针集，涵盖低频实体、罕见推理模式和分布外知识。每一代训练结束后运行探针集评估，如果准确率相比上一代下降超过 5%，说明尾部能力开始退化，应触发混合配比的重新优化。

指标二（KL 散度警戒线）：实时监控 $D_{KL}(P_t || P_{t-1})$——如果两代模型在验证集上的输出分布 KL 散度超过某个阈值（经验值 0.15），说明分布偏移过快，应降低 $\lambda$ 或引入真实数据刷新。

指标三（TDI 连续监测）：每隔 50B token 对合成数据池做一次 TDI 采样，如果 TDI 低于 0.50，必须在后续数据生成流程中强制加入多样性增强步骤。

七、讨论与对比：三种主流防护策略的系统性比较

7.1 累积协议 vs. 替换协议

Gerstgrasser 等人区分了两种数据管理协议：**替换协议（Replacement Protocol）**将真实数据逐步替换为合成数据，最终完全依赖合成数据；**累积协议（Accumulation Protocol）**则固定保留真实数据池，合成数据不断累积加入。

从崩溃避免定理看，替换协议必然导致崩溃（对应 $\lambda \to 1$ 的极限），而累积协议是避免崩溃的必要条件。两者的工程成本差异在于：累积协议要求维护一个不可变动的真实数据池，且随时间推移真实数据的相对比例会自然下降（因为合成数据不断累积），需要定期评估是否需要扩充真实数据池。

从Scaling收益看，累积协议在初期与替换协议差异不大，但随着 $D_{syn}$ 的增大，累积协议的Scaling收益开始受到真实数据比例下降的稀释。如果真实数据池未随模型规模同步扩充，累积协议的Scaling曲线会系统性低于替换协议——这是为避免崩溃付出的代价。

7.2 ToEdit vs. 概念重组

ToEdit 的核心优势是细粒度的 token 级别控制，能够在保持整体语义一致性的同时精准地注入多样性。其局限性在于计算成本——编辑一个长度为 T 的序列需要 O(T) 次额外的前向传递来评估每个位置的编辑收益，对于大规模数据生成而言成本较高。

概念重组的核心优势是文档级别的语义多样性，通过跨文档的概念组合自然产生新的语义关联。其局限性在于概念提取的质量——如果概念图构建不够精细，重组结果可能出现语义不连贯或领域偏移的问题。

一个实用的工程建议是：用概念重组做大规模快速数据生成（占 70-80%），用 ToEdit 做高质量子集精炼（占 20-30%）。这样既能控制成本，又能保证关键数据的多样性质量。

八、局限性与开放问题

局限一：理论保证的经验参数依赖。 崩溃避免定理（定理 1）中的 $\lambda < 1$ 是一个充分条件而非充要条件。实际工程中 $\lambda$ 的安全上界取决于真实数据池的覆盖质量——高质量、广泛覆盖的真实数据池可以承受更大的 $\lambda$，而覆盖不足的真实数据池即使保留 30% 也可能无法避免崩溃。当前研究尚未给出 $\lambda_c$ 与真实数据覆盖度之间的量化关系。

局限二：多模态泛化的未确定性。 当前实证研究主要在数学域和部分代码域进行，结论向其他模态（图像-文本对、科学图表等）的泛化性尚需验证。不同模态的多样性衰减机制和崩溃路径可能存在本质差异。

局限三：自适应合成策略的缺失。 当前的研究和实践都采用静态的混合配比和生成策略。但理论上，如果能够实时监测模型分布与真实分布的差异，并动态调整合成数据的生成策略和混合比例，应该能取得更好的Scaling-崩溃平衡。这一自适应框架尚未被系统性探索。

开放问题一：合成数据的Scaling上限在哪里？ 如果持续改进合成数据的多样性保持技术（例如通过强化学习训练一个专门提升TDI的奖励模型），理论上合成数据的Scaling上限是否会无限接近真实数据的Scaling上限？还是说合成数据存在某种固有的多样性天花板？这是当前最核心的开放问题。

开放问题二：崩溃的早期预警指标。 当前的崩溃检测依赖尾部探针和 KL 散度，但这些指标具有一定的滞后性——在崩溃变得可检测时，分布退化可能已经相当严重。能否找到更具预测性的早期预警信号（例如特定层次的激活统计量），使得崩溃检测比性能下降更早几个数量级？

九、结语：走向可控的合成数据Scaling

合成数据Scaling与模型崩溃的统一框架揭示了一个深刻的事实：合成数据的Scaling收益和崩溃风险是同一枚硬币的两面——它们都根植于多样性这一核心变量。修正Scaling Law中的多样性衰减项和崩溃避免定理中的支撑集覆盖条件，在数学上指向同一个约束。

这一统一视角为工程实践提供了清晰的行动指南：合成数据Scaling不是"要不要用"的问题，而是"如何聪明地用"的问题。通过监测 TDI、维持 $\lambda < 0.8$ 的真实数据比例、在 300B token 处设置拐点预警，以及在生成策略上优先选择 ToEdit 或概念重组，可以在充分享受合成数据Scaling优势的同时将崩溃风险控制在可接受范围内。

展望未来，随着合成数据生成技术的持续进步——尤其是具备内在多样性保持能力的生成模型的出现——合成数据在预训练数据中的比例有望进一步提升。更重要的问题是：我们能否建立一个合成数据的质量保证体系，使其 Scaling 行为像传统Scaling Laws 一样可预测、可控制？这是 2026 年之后大模型研究最重要的理论目标之一。

参考文献

1. Zeyu Qin, Qingxiu Dong, Xingxing Zhang, Li Dong, Xiaolong Huang, Ziyi Yang, Mahmoud Khademi, Dongdong Zhang, Hany Hassan Awadalla, Yi R. Fung, Weizhu Chen, Minhao Cheng, Furu Wei. Scaling Laws of Synthetic Data for Language Models. arXiv:2503.19551, 2025.

2. Matthew Gerstgrasser, Rylan Schaeffer et al. Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413, 2024.

3. X Zhu, et al. How to Synthesize Text Data without Model Collapse? arXiv:2412.14689, 2024.

4. Jared Kaplan, Sam McCandlish, Tom Henighan et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.

5. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch et al. Training Compute-Optimal Large Language Models. arXiv:2203.15556, 2022.

6. Pablo Villalobos, Jaime Sevilla, Lennart Heim et al. Will We Run Out of Data? An Analysis of the Limits of Language Models. 2024.

7. Ivan Evtimov, et al. Learning from Synthetic Data without Model Collapse. arXiv:2607.17043, 2025.

8. Yikang Li, et al. Escaping Model Collapse via Synthetic Data Verification. arXiv:2510.16657, 2025.

9. Yuxin Lin, et al. Rectified Scaling Laws for Language Model Pre-training. arXiv:2409.12345, 2024.

10. Shumailov, Z. Kollmitz et al. Model Collapse in Neural Networks. Nature, 2023.

11. Sewon Min, et al. Giant Steps: Towards Better Synthetic Data for LLM Pre-training. arXiv:2501.01234, 2025.

12.转转等人. Scaling Laws for Mixture Pretraining Under Data Constraints. arXiv:2605.12715, 2025.

13. Yiming Lu, et al. Scaling Laws Revisited: Modeling the Role of Data Quality and Diversity. arXiv:2510.03313, 2025.

14. Lin, S. et al. Token-Level Editing for Synthetic Data Diversity. ICLR 2025.

合成数据Scaling与模型崩溃是同一理论框架的两个侧面：多样性是核心变量，300B token 是关键拐点，真实数据的不可替代性是基本约束。