重整化群视角下的大模型训练动力学 2026
从凝聚态物理借来 Wilson 的重整化群算子,把预训练粗粒化、SFT/DPO 微扰展开、test-time compute 反向重正化、reward hacking 临界现象串成统一视角,给出七条工程推论与三个待验证猜想。
- #大模型研究
Archive
97 篇文章
切换标签
把大模型的能力涌现视为统计力学的有限尺寸相变，用 Fisher 标度假设与临界指数给出可证伪的统一框架，把 emergent abilities 现象统一到 Wilson-Fisher 不动点的 RG flow 语言里。