重整化群视角下的大模型训练动力学 2026
从凝聚态物理借来 Wilson 的重整化群算子,把预训练粗粒化、SFT/DPO 微扰展开、test-time compute 反向重正化、reward hacking 临界现象串成统一视角,给出七条工程推论与三个待验证猜想。
- #大模型研究
👋 hi,这里是
随手记下关于代码、设计 与日常的一些小想法。
Journal
随笔、研究与作品 — 一个持续生长的写作实验室。
按标签筛选
从凝聚态物理借来 Wilson 的重整化群算子,把预训练粗粒化、SFT/DPO 微扰展开、test-time compute 反向重正化、reward hacking 临界现象串成统一视角,给出七条工程推论与三个待验证猜想。
把 Agent 的每一条 LLM 调用、工具调用、缓存命中、副作用执行都纳入带租户标签的可计费可观测性图，并打通到 Snowflake/Stripe metering 的产品级闭环，是 Agent 平台从烧钱 demo 走向商业产品的成本工程分水岭。
把注意力 rollout 定位、激活补丁验证、行为干预证伪的三层归因方法,沉淀为 Agent 生产环境的可观测性基础设施——从单次前向的 mechanistic interpretability 跨越到多步决策链的可干预因果结构。
把 Tree Attention 当作草稿、把 Acceptance Rate 双峰作为调度信号、把 KV Reuse Ratio 作为显存放大器，通过 draft 选型四象限 + 动态 γ/w + 自动 fallback 三件套，把推理加速比从 1.8x 推上 3.0x 同时保持 P99 延迟不爆。
把 RAG 引用从文本标签提升为可证伪归因算子，沿 chunk-level 反查、sentence-level 锚定、claim-level 可证伪、falsification-driven 闭环四层递进，覆盖金融、医疗、法律等高风险场景的 evidence-grade 引用工程。
把推理从离散 token 链搬到连续隐空间流,在信息论上消除语言化压缩瓶颈、在几何上统一 token 级 CoT 与隐空间推理的对偶、在工程上重写 test-time scaling 的 Pareto 前沿——COCoT 是 2026 年推理范式跃迁的关键候选。
Agent 流式响应的工程本质是在不确定延迟、不稳定网络和有限预算三重约束下，通过 HLC 时钟保障全序、通过幂等令牌保障恢复、通过 Cost-Aware 早停保障资源效率——三者的协同设计构成生产级流式 Agent 系统的可靠性基座。
把 Agent 决策链当作可微程序,在电路发现、激活补丁、行为干预三个互补视角下,沿决策流形的路径积分统一形式化,得到一张对生产可观测性与训练数据多样性都直接可操作的电路拓扑图,但必须正视假阴性陷阱与电路漂移,否则可解释性会从洞察变成错觉。
把多 LoRA 推理服务视为受张量存储、KV 隔离、多 SLO 三重约束下的在线调度问题,通过 PEFT 微架构分层、L_max 容量公式、adapter-aware KV scheduler 与租户级成本归因,构建 2026 年生产可用的多租户 LLM 推理工程闭环。
把改 RAG 的不确定性从上线后前置到 PR 之前——靠合成 query + 参考答案 + context precision/recall/faithfulness 三层指标 + 多 LLM 双盲 + 回归门禁矩阵构筑改 A 不打坏 B 的工程闭环。
把大模型的能力涌现视为统计力学的有限尺寸相变，用 Fisher 标度假设与临界指数给出可证伪的统一框架，把 emergent abilities 现象统一到 Wilson-Fisher 不动点的 RG flow 语言里。
把 Agent 的工具调用从超级用户还原为最小权限,关键不是加密、不是签名,而是把 OAuth scope、OPA/Cerbos 策略点评估、runtime PEP 拦截、三态决策(allow / deny / approval_required)、hash-chained audit trail 串成一条工程闭环;这些范式来自传统软件工程但必须在 Agent loop 的每个工具调用点重新落地一次。
把工具调用从语言行为升级为决策论行为:用 POMDP 形式化信念状态与工具合适度后验,把不确定性分解为认知、偶然、任务三层,在黎曼流形上构造 policy 测地线并用自由能最小化判据决定早停,把 2026 年工具调用从工程稳定推向认知合理。
把 P99 从系统测度提升为可治理对象,围绕调度噪声 / 计算路径 / 多租户干扰三类机制展开,统一为分位-预算耦合框架,给出 7 条带量化指标的工程推论,为推理服务的 SRE 治理提供可量化的反馈闭环。
仓库级代码助手正从单文件补全走向全仓库智能体，上下文装配（语义地图+混合检索+验证闭环）是核心工程瓶颈，多轮协作 UX 与渐进落地策略决定生产可用性。
把训练—泛化双序参量纳入 Landau 势刻画几何相变、用持久同调的 Betti 数离散合并刻画拓扑相变，两层耦合后 grokking 被理解为损失空间的二级相变与解空间的一阶拓扑相变在临界权重衰减下的同步事件——既能解释跃迁的延迟性与阶跃性，又能为长 epoch 训练提供可工程化的监控指标。
本文系统化梳理了 Agent 优先级调度与资源配额工程的四大核心维度——公平性理论（DRR/WFQ）、多级队列架构、自适应限流（令牌桶+背压）以及成本感知调度——为生产级 Agent 平台的资源治理提供了从理论到工程的完整闭环框架。
本文从自由能原理和主动推断出发，提出 Agent 的世界模型是环境生成过程的变分近似，工具调用是信息增益行动，记忆更新遵循变分推断规律，三者在自由能最小化目标下实现统一。
在线推理的显存墙不再是单一精度的命题: 本文拆解 FP8 权重 + INT4 KV + FP16 attention 这套生产级混合精度栈如何在 LLM 推理中实现 35% 显存节省 + 7% p99 时延回缩, 同时保证 KV cache 跨会话复用的命中率不塌方。
把 prompt 从魔法字符串升级为一等软件资产：git 化 + 分层契约 + 三道 CI 闸门 + 稳定哈希分桶 A/B + trace 回流闭环，每一次 prompt 改动都接入版本控制、回归测试、灰度发布与一键回滚。