LLM 推理混合精度路由工程 2026: 从 FP8 权重到 INT4 KV 的生产真相
在线推理的显存墙不再是单一精度的命题: 本文拆解 FP8 权重 + INT4 KV + FP16 attention 这套生产级混合精度栈如何在 LLM 推理中实现 35% 显存节省 + 7% p99 时延回缩, 同时保证 KV cache 跨会话复用的命中率不塌方。
- #AI 原生架构
Archive
96 篇文章
切换标签
在线推理的显存墙不再是单一精度的命题: 本文拆解 FP8 权重 + INT4 KV + FP16 attention 这套生产级混合精度栈如何在 LLM 推理中实现 35% 显存节省 + 7% p99 时延回缩, 同时保证 KV cache 跨会话复用的命中率不塌方。
把 MoE 推理的跨卡专家路由变成可调参的工程对象：grouped-top-K 让通信局部化、DeepEP 把 dispatch 融合到 kernel、NUMA-aware + nvlink-topo-file 暴露物理拓扑、EAGLE-2/3 + 共享 routing cache 把单 token decode 摊到多 token，再用四层 OTel 指标守住专家热点与带宽长尾。
当 LLM 推理的瓶颈从 KV 内存转移到调度器公平性,我们看到 TTFT p99 在多租户混合负载下漂移 5%,长尾请求被短请求频繁插队饿死;本文从 WFQ 公平排队、协作/非协作抢占、多 SLO 分层队列三方面拆解生产级推理调度器的工程真相。