AI 训练数据的 2026 H2 枯竭临界点：合成数据、版权授权与公共域的三角博弈

导语：当人类写作的优质文本在 2026 年被预测耗尽，"数据墙"不再是 Scaling Law 的外推游戏，而是真金白银的版权诉讼、合成数据的坍缩风险与公共域开放节奏的三方博弈。本文从训练 token 的供需曲线出发，刻画 2026 H2 大模型公司面对的"数据三角"——以及每条路径的工程-法律-质量代价。

一、训练数据墙：Scaling Law 的物理边界

GPT-4 级别的模型在 2023 年消耗约 13T tokens，到 GPT-5 / Claude 4 这一代，单次预训练普遍消耗 30-50T tokens。Epoch AI 在 2024 年的研究估计，按当前 Scaling 速率，人类产生的优质文本将在 2026-2028 年间耗尽。这不是危言耸听——高质量 tokens（书籍、学术论文、新闻、代码）的年产量增长远低于模型容量增长。

更精细的建模如下。设模型参数量 $N$ 训练 token 量 $D$，Chinchilla 公式给出最优配比：

$\frac{N}{D} \approx 20$

但 2024 年之后的 frontier 模型实际偏离 Chinchilla 配比 4-10 倍（更多参数、更少 token），原因是 reasoning 能力与数据质量提升的边际收益高于按 Chinchilla 增加 token。这意味着 frontier 模型对数据的"质量密度"要求持续上升。

设数据枯竭阈值为 $D^*$，当 $D > D^*$ 时训练数据耗尽。可建立三段式供给模型：

供给曲线
  │
  │  ╱────── 公共域（增速 5%/年）
  │ ╱
  │╱  版权授权（受诉讼/授权费约束）
  ├───────────────── D* 枯竭阈值
  │╲
  │ ╲────── 合成数据（边际效用递减）
  │  ╲
  └─────────────────→ token 量

关键问题：合成数据的边际效用不是常数——它随迭代轮次呈指数衰减。

二、合成数据的坍缩诅咒

2.1 模型坍缩的相变理论

2024 年 Nature 论文 "AI models collapse when trained on recursively generated data" 揭示了一个被后续研究反复验证的现象：模型在合成数据上多轮训练后，输出分布的尾部（rare events）会指数级收缩，多样性指标如 distinct-n 在 5-10 轮后降到基线的 30% 以下。

数学化描述：设真实数据分布 $p_{\text{real}}(x)$，模型 $\mathcal{M}_\theta$ 生成 $p_\theta(x)$，第 $n$ 轮训练数据为 $p_{\theta_n}$。可证明在 mild regularity 条件下，分布支撑度（support）随 $n$ 单调递减：

$\text{supp}(p_{\theta_{n+1}}) \subseteq \text{supp}(p_{\theta_n})$

直观上，模型只能"采样自己知道的东西"，多轮后稀有的高质量长尾被"擦除"。

2.2 工程实践：合成数据的混合比例

当前 frontier 厂商普遍采用 真实 + 合成 = 80/20 到 95/5 的混合策略。Anthropic 在 Claude 4 训练中据公开访谈提到约 8% 合成数据用于 reasoning trace，OpenAI o-series 据报道在 RL 阶段使用大量合成 trajectory。

# 简化的合成数据混合策略（伪代码）
def mix_training_data(real_data, synth_data, ratio=0.1):
    """ratio = synth / (real + synth)"""
    n_real = len(real_data)
    n_synth = int(n_real * ratio / (1 - ratio))
    
    # 关键：合成数据需经质量过滤
    filtered_synth = filter_quality(synth_data, min_ppl=15, max_ppl=80)
    
    # 关键：避免分布坍缩——保留稀有 token
    rare_token_mask = compute_rare_token_mask(real_data)
    boost_synth = upsample_rare(filtered_synth, rare_token_mask, factor=2.0)
    
    return shuffle(real_data + boost_synth)

核心工程挑战：质量过滤不能"过度清洗"——过度清洗等于自我审查。Anthropic 的 constitutional AI 路径与 OpenAI 的 reward model 路径在合成数据过滤上走了不同方向，但都面临"清洗过多则多样性下降"的根本张力。

三、版权授权：法律成本与质量溢价

3.1 已发生的版权诉讼

2024-2026 年间，主要版权案件进展：

和解金额虽未完全公开，但据行业分析师估算单次和解 5000 万-2 亿美元不等。这创造了"版权授权市场"的定价锚点。

3.2 授权市场的供需

设单位 token 授权费为 $c$，授权数据量为 $D_c$，未授权数据量 $D_u$。当前版权方"理性策略"是索取最大化：因为 frontier 厂商的 revenue per token 远高于授权费。

定价模型：

$c_{\text{optimal}} = \frac{\partial \text{Revenue}}{\partial D_c} \approx \alpha \cdot \text{ARR}_{\text{per\_token}}$

其中 $\alpha$ 为版权方的议价能力系数（据 NYT 案件外推约 0.05-0.15）。问题：如果所有 frontier 厂商同时进入授权市场，$\alpha$ 会被推高（价格战消失），最终 $c \approx 0.1 \cdot \text{ARR}_{\text{per\_token}}$——对头部公司（ARR 高）反而能承受，对二线公司直接挤压利润。

3.3 欧盟 TDM opt-out 与机器可读授权

欧盟 DSM Directive Article 4 的 TDM（text and data mining）opt-out 条款要求权利人通过机器可读方式声明"禁止挖掘"。2026 年起，欧盟推动 TDM Reservation Protocol——网站通过特定 HTTP header 或 robots.txt 扩展声明授权状态。

未来 12 个月的工程影响：所有 frontier 训练数据 pipeline 必须增加 TDM opt-out 过滤层。这对已经训练好的模型不构成追溯问题（grandfathering），但对 2027 年起的训练将是基础要求。

四、公共域：被低估的长尾供给

4.1 公共域数据规模

公共域（public domain）数据比想象的大：pre-1929 英文书籍约 1000 万册、PubMed Central 全文 3500 万篇、arXiv 全文 240 万篇、政府文件（court opinions、CFR、Federal Register）约 500 亿 tokens。

但公共域的"质量密度"极不均匀：

• 法律意见：高质量（推理严密）但数量有限
• 政府文件：高质量但风格单调
• 经典文学：高质量但与现代语言分布偏差大
• arXiv 论文：高质量但符号密度高（不适合通用 LLM 训练）

4.2 公共域的"再现代化"工程

一个被低估的方向是公共域数据的"再现代化"——用现代模型对 pre-1929 文学做风格迁移、用 LLM 把古英文重新表述为现代英语。这等同于"用合成数据再加工公共域"。

好处：规避版权风险（公共域永远不过期）；坏处：再现代化过程本身需要大量真实数据做 few-shot 示例——又回到原点。

五、2026 H2 三角博弈的可能均衡

我们用博弈论刻画三方策略选择。设三方为：

• S（synth）：纯合成数据策略（成本低、质量风险高）
• L（licensed）：版权授权为主策略（成本高、质量稳定）
• P（public）：公共域为主策略（成本低、数量有限）

收益矩阵（粗略，行 = 我方策略，列 = 他方主导策略）：

纳什均衡的判断是 多均衡共存：不同 frontier 厂商因资金、技术、文化（开源 vs 闭源）选择不同策略。DeepSeek 倾向 P+S 组合（最大化成本效率）、Anthropic 倾向 L+S 组合（合规优先）、OpenAI 倾向 L+少量 S（垄断授权+前沿合成）、xAI / Meta 倾向 S（高风险高收益）。

六、未公开验证的猜想：2027 年训练数据市场预测

以下是前瞻判断，均未公开验证，仅作分析框架：

1. 猜想 A：2027 H1 出现"训练数据交易所"（data marketplace），版权方按 token 计价授权，类似音乐行业的 PRO（Performing Rights Organizations）模式。触发条件：NYT v. OpenAI 终审 + Suno 案件和解模板扩散。

2. 猜想 B：合成数据占预训练比例不会超过 15%——更多会用于 RL 阶段（reward shaping）和 finetune 阶段。支持论据：模型坍缩的相变理论 + Anthropic 公开访谈中"8% 合成数据"已经是工程极限。

3. 猜想 C：公共域 + 版权授权 + 合成数据三足鼎立的"30/50/20"格局在 2027 H2 形成。支持论据：单一策略无法支撑 50T+ token 的 frontier 训练需求。

4. 猜想 D：监管压力下，训练数据透明度强制披露（训练数据集 + 主要授权方列表）成为 2027 年 EU AI Act 二级立法要求。支持论据：Article 53 的 high-risk AI 透明度义务外溢到 GPAI。

5. 猜想 E：中国厂商通过数据出境豁免+ 国内中文语料规模化继续走差异化路径，但中文公共域的"质量密度"问题在 2027 H1 触发 ChineseBench 类评估体系重设计。

七、生产级数据管道决策清单

对于 2026 H2 启动新训练的工程团队，建议按以下 checklist 评估：

1. 版权诉讼暴露面：扫描训练语料是否包含 NYT、UMG、Authors Guild 案件涉及的具体出版物。默认排除。如必须包含，预算法定授权费为训练预算的 8-12%。

2. TDM opt-out 过滤层：在数据 ingestion pipeline 加 robots.txt 解析 + .well-known/tdm.json 检查。默认尊重 opt-out。

3. 合成数据比例上限：在 5-15% 区间做 A/B 测试，监控 distinct-n（目标 ≥ 基线 80%）、长尾 token 覆盖率（目标 ≥ 70%）、reward hacking 频率（监控 PPO 训练 KL 散度）。

4. 公共域现代化预算：分配 5-10% 训练算力给公共域数据的"再现代化"管线，包括风格迁移、古文-现代文转换。

5. 数据血缘（data lineage）系统：每条训练数据记录来源、授权状态、采集时间。为监管审计准备。

6. 多源混合策略：不依赖单一来源，real / licensed / public / synth 四源比例按任务类型动态调整。Code 类任务偏 real + licensed；reasoning 类任务偏 synth（CoT 轨迹）；通用对话类任务偏 public + 少量 synth。

八、结论：三角博弈无单方赢家

2026 H2 的 AI 训练数据市场不会由单一策略主导。真正决定 frontier 模型差异的，是数据管道工程——如何高效地聚合真实、授权、公共域、合成四类数据，并在合规-质量-成本三角中找到动态平衡。

对于研究者和高级工程师，最重要的实践建议：

• 不要把"训练数据"看作单一变量，它是一个动态系统——输入侧的版权诉讼、输出侧的模型坍缩、监管侧的透明度要求三者实时耦合。
• 关注 TDM Reservation Protocol 的落地（2026 H2 关键时点）。
• 在自己的 fine-tuning 项目中，默认遵守 opt-out——这不是法律风险问题，是工程伦理问题。
• 跟踪 model collapse 的最新研究：合成数据的"安全使用窗口"在每轮迭代中收窄，今天的 5% 可能是明天的 3%。

数据墙不是 Scaling Law 的末日，是新工程范式的起点。

参考文献

1. Epoch AI. (2024). Will we run out of data? Limits of LLM scaling. https://epochai.org/data/will-we-run-out-of-data
2. Shumailov, I., et al. (2024). AI models collapse when trained on recursively generated data. Nature, 631, 755-759.
3. Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556.
4. European Parliament. (2019). Directive (EU) 2019/790 on copyright in the Digital Single Market (DSM Directive), Article 4.
5. The Authors Guild. (2023). Class Action Complaint, Authors Guild v. OpenAI, No. 1:23-cv-08292.
6. UMG Recordings v. Anthropic. (2023). Case No. 3:24-cv-04717, settlement 2025-09.
7. RIAA v. Suno / Udio. (2024). Settlement 2026-05, training data disclosure requirements.
8. TDM Reservation Protocol. (2025). W3C Community Group Draft. https://www.w3.org/community/tdmrep/
9. Anthropic. (2024). Claude's Constitution. Constitutional AI methodology, synthetic data composition.
10. OpenAI. (2024). o-series technical overview, RLHF and synthetic trajectory generation.

本文为前瞻分析，所有"未公开验证的猜想"段明确标注推测性质。引用融资数据、监管细节时请以官方一手文件为准。截至 2026-07-01 公开数据为准。