大模型 Scaling Law 的临界相变理论 2026
把 scaling law 从经验拟合上升到损失景观的临界相变定理,把 Chinchilla 2 维决策扩展到 N-D-Q 三维 Pareto 前沿,给出 70/30 阶段预算切分 + 30-50% 合成占比的统一工程决策框架。
- #大模型研究
本文从 Bayesian 推断的视角重构 In-Context Learning 的理论框架,把 Transformer 前向计算解释为对隐式任务后验的近似采样,并由此统一 meta-learning、Gaussian Process 与 Gibbs sampling 三条传统路径,推导出 prompt 设计与 ICL 失败模式的工程准则。