2026 年 AI 能力度量的真实地基
从 METR TH1.1、Anthropic ASL、SWE-bench/HLE/EvoMaster 三榜交叉三个一手数据出发，论证 2026 年下半年 AI 能力度量正在从“单一基准分数”迁移到“精度评估 + 阈值评估 + 评估单元声明”的三角验证体系。
约 22 分钟阅读6,511 字23 次阅读博主
从 METR TH1.1、Anthropic ASL、SWE-bench/HLE/EvoMaster 三榜交叉三个一手数据出发，论证 2026 年下半年 AI 能力度量正在从“单一基准分数”迁移到“精度评估 + 阈值评估 + 评估单元声明”的三角验证体系。
过去两年，AI 行业反复陷入同一种尴尬——SOTA 模型在基准榜单上勇创新高，但在真实部署中却"测不准"。MMLU 改一个括号的方向精度能波动 5%–10%（Anthropic 2023 年评估挑战原文措辞）；SWE-bench Verified 榜首从 2024 年初的 ~13% 一路爬到 2026-06 的 79.2%，但同样是这个榜首模型，跑生产代码任务时还是要人类工程团队"打补丁 + 兜底"；Humanity's Last Exam（HLE）设计初衷是"短期不会被饱和"，然而 2026 年 4 月 EvoMaster 已经在它上面拿到 41.1%，远超同年 1 月 Gemini 3 Pro 的 38.3%。
更令人不安的是同一份榜单里"两位数百分点的差距"在不同上下文里完全可能翻转——一个 76.8% 的 SWE-bench Verified 得分看似优秀，但当 Anthropic 团队把这些模型的"算法分（按 PR 单测通过率）"和"整体分（METR 研究员 rubric 评审）"拆开对比，发现两套评分可以指向完全不同的结论：模型通过单测，但功能上无法直接落地。
这一切指向同一个判断：单一基准的"精度分"已经无法承担"能力度量"的全部重量。本文不重复"基准为什么失效"的老话——这一观点在 LLM 评估领域已成共识——而是想从三个最新一手数据出发，给出 2026 年下半年能力度量正在向哪里迁移的真实地基。这三块地基分别是：METR 时间视野（TH1.1）修正后的"翻倍曲线"、Anthropic ASL 阈值体系如何把"评估"转化为"部署前置条件"，以及 SWE-bench + HLE + EvoMaster 三榜交叉验证揭示的"分数通胀与功能脱钩"现象。
METR 在 2025 年 3 月发布 arXiv:2503.14499《Measuring AI Ability to Complete Long Software Tasks》，提出 50%-task-completion time horizon——"AI 能以 50% 成功率完成的任务，人类通常需要花多久"。原文摘要写得很克制：
"On these tasks, current frontier AI models such as Claude 3.7 Sonnet have a 50% time horizon of around 50 minutes. Furthermore, frontier AI time horizon has been doubling approximately every seven months since 2019, though the trend may have accelerated in 2024."
这套度量有两个关键优势：它把"AI 能力"投射到"人类时间"这个直观刻度上，避免了"Score = 0.84"这种无锚点数字；并且基于真实软件任务（RE-Bench + HCAST + 66 个新短任务），不是合成题库。论文还做了一个5 年外推：如果趋势延续，AI 将在 5 年内能自动化当前人类一个月的工作量。这是 2025 年上半年被广泛引用的"AI 进展曲线"。
但 METR 自己也不打算让这条曲线"一成不变"。2026 年 1 月 29 日发布的 TH1.1 更新《Time Horizon Estimates (TH1.1)》做了三件事：任务库扩展（170 → 228，+34%）、长任务翻倍（14 → 31，+121%）、基础设施迁移（自研 Vivaria → UK AISI 开源 Inspect）。原文措辞给出了修正后的数字：
"This hybrid trend shows exactly the same doubling time as the TH1 trend, of 196 days (7 months)."（混合趋势） "We re-estimated horizons for only 14 of 33 models which had TH1 estimates."
更关键的是 2023 年以后的拟合。原文说：
"我们比较了 TH1 与 TH1.1 自 2023 年以来的趋势，得到 2023 年后翻倍周期从 165 天缩短到 131 天——比 TH1 估计快 20%。"
这意味着"7 个月翻一倍"在 2023 年以前还成立，但 2023 年以后的趋势加速了 20%。如果你只看原始论文不跟进 TH1.1，会低估近两年的进展速度。
METR 自己也在 TH1.1 原文里坦诚地写出了置信区间：
"e.g. the upper bound on Opus 4.5 was 4.4X larger than the point estimate with TH1, but it is now 2.3X larger with TH1.1. These confidence intervals are still very wide."
也就是说即便是同一个模型，2025-03 报告给出的"Opus 4.5 时间视野上限"是点估计的 4.4 倍。TH1.1 把这个倍数压到了 2.3 倍——区间更窄了——但仍然很宽。另一个限制是"5 of 31 long tasks"的人类基线时间是实测、其余是估算，这等于在曲线尾部画了一个约 16% 的"实测锚点 + 84% 的外推锚点"的混合体。
对工程读者的启示：把"7 个月翻一倍"或"131 天翻一倍"作为 PR 标题是合理的，但作为部署决策依据必须配上置信区间和"任务是否在曲线训练分布内"的限定。写"AI 进展曲线"类叙事时如果不区分"全周期"和"2023 年后周期"，会被懂行的读者立刻识别为"没读 TH1.1"。
Anthropic 2023 年发布的评估挑战原文《Challenges in evaluating AI systems》对 MMLU 提了 4 个"小但重要"的问题：
"Because MMLU is so widely used, models are more likely to encounter MMLU questions during training. This is comparable to students seeing the questions before the test—it's cheating." "Simple formatting changes to the evaluation, such as changing the options from (A) to (1) or changing the parentheses from (A) to [A], or adding an extra space between the option and the answer can lead to a ~5% change in accuracy on the evaluation." "AI developers do not implement MMLU consistently." "MMLU may not have been carefully proofread—we have found examples in MMLU that are mislabeled or unanswerable."
这 4 条加在一起意味着：MMLU 分数的"5% 噪声带宽"是结构性事实，而不是测量误差。任何"模型 A 比模型 B 高 3%"的对比都可能在格式微调后翻转。Anthropic 也在原文里把 BBQ（偏见基准）作为更复杂的案例——光正确实现就花了一个全职工程师一整周。这是任何想要做严肃 AI 评估的组织都该读的入门警示。
如果说 2023 年的评估挑战是"诊断书"，那么 2024 年 10 月 Anthropic 更新版 Responsible Scaling Policy 就是"处方"。原文措辞非常直接：
"Our updated policy defines two key Capability Thresholds that would require upgraded safeguards: Autonomous AI Research and Development: If a model can independently conduct complex AI research tasks typically requiring human expertise—potentially significantly accelerating AI development in an unpredictable way—we require elevated security standards (potentially ASL-4 or higher standards)." "Chemical, Biological, Radiological, and Nuclear (CBRN) weapons: If a model can meaningfully assist someone with a basic technical background in creating or deploying CBRN weapons, we require enhanced security and deployment safeguards (ASL-3 standards)."
两个关键阈值——一个是"自主 AI 研发"（触发 ASL-4+），一个是"CBRN 武器辅助"（触发 ASL-3）。当前所有 Anthropic 模型运行在 ASL-2。这两个阈值不是"分数达标"，而是**"行为证据达标"**——需要"实时和异步监控 + 部署前红队 + 内部访问控制 + 模型权重保护"等一整套安全措施。
ASL 的设计哲学和 MMLU 是两套不同的世界观：
| 维度 | MMLU / 传统基准 | ASL 阈值 |
|---|---|---|
| 单位 | 精度分（0–100%） | 能力是否可观察达到阈值 |
| 通过标准 | 跨模型相对排名 | 是否触发硬性安全升级 |
| 失败后果 | 排名下降 | 禁止训练或部署 |
| 时间 | 静态快照 | 持续评估 + 部署后监控 |
| 工具 | 单选题 + 自动评分 | 多选题 + 第三方框架 + 众包工人 + 领域专家红队 + 生成式 AI 评估生成式 AI + 第三方审计（原文逐级枚举） |
也就是说，传统基准是"诊断工具"，ASL 是"部署许可"。这两者的功能不重叠——任何想做"AI 部署"的产品/平台，都不应该只盯着 MMLU 分数，必须把"能力是否触发阈值"这件事纳入上线前的硬性 checklist。
SWE-bench Verified 是 500 个 SWE-bench Full 中的人工筛选子集。截至 2026 年 6 月 14 日 curl swebench.com 抓取到的 JSON 数据（349 条 agent 提交记录），前 5 名依次是：
短短 4 个百分点区分了 5 个独立组织的提交，前 10 名差距不到 5 个百分点——这说明榜单已经进入饱和区间。METR 自己的 2025-08-12 算法分 vs. 整体分研究指出："智能体通过单元测试但功能上无法直接落地——测试覆盖盲区、format/lint 不达标、缺乏文档、错误处理粗糙"。换言之，SWE-bench Verified 的精度分正在接近"格式分 + 单测覆盖分"的混合体，而不是"功能可用性分"。
Humanity's Last Exam（HLE）发布于 2025 年初，由 1000+ 领域专家出题，设计目标明确写为"前沿模型短期难以饱和"。截至 2026 年 6 月 14 日 lastexam.ai 抓取到的官方表格（10 个模型行）：
从 2025-01 到 2026-06 的 16 个月，榜首从不到 10% 涨到 38.3%——这是 4 倍以上的增长。官方页面本身也承认这一点："recent history shows benchmarks are quickly saturated -- with models dramatically progressing from near-zero to near-perfect performance in a short timeframe." 也就是说，HLE 自己也已经认识到自己"在饱和曲线上"。
更激进的是 2026-04-19 arXiv:2604.17406 上发布的 EvoMaster《A Foundational Evolving Agent Framework for Agentic Science at Scale》——论文摘要原文："EvoMaster achieves state-of-the-art scores of 41.1%, 75.8%, 73.3%, and 53.3%, respectively"——它在 HLE 上拿到 41.1%，已经超过 Gemini 3 Pro 的 38.3%。HLE 原作者在页面里也说："it is plausible that models could exceed 50% accuracy on HLE by the end of 2025"——这一预测已经被 EvoMaster 提前一年实现。
把 SWE-bench Verified、HLE、EvoMaster 三块数据放在一起看，能看出几个非显然的结论：
把这三块地基拼在一起，会发现一个共同的结构性问题——分数通胀正在掩盖能力通胀。具体表现为：
任何"模型 X 在 Y 上拿了 Z 分"的对比，至少要配上：
如果你在做 AI 产品/平台，至少要把两件事变成硬性流程：
这两类评估和"MMLU 分数"是完全不同的两件事——前者是行为证据，后者是精度分；前者决定能不能部署，后者决定排名怎么写。
HLE 官方页面"plausible that models could exceed 50% accuracy on HLE by the end of 2025"这种对饱和曲线的公开预测值得所有新基准学习——把"基准预期寿命"作为元数据发布，能让读者更合理地解释榜单变化，也让"基准饱和"成为可被预测的事件，而不是事后的惊讶。
2026 年下半年 AI 能力度量的真实地基，不在任何单一榜单上，而在三块互相正交的数据的交叉验证里：
下一个 12 个月值得关注的三件事：
可以肯定的是——"基准分数通胀"和"能力通胀"的脱钩，将是 2026 年下半年到 2027 年 AI 评估领域最核心的工程命题。读者下次再看到"模型 X 在 Y 上拿了 Z 分"的标题时，建议先问三个问题：评估单元是什么？置信区间多宽？这是精度评估还是阈值评估？
Conversation
0 条