LLM 推理的 PD 分离：Prefill-Decode 解耦的生产工程权衡
Prefill-Decode 分离通过将 LLM 推理的两个计算不对称阶段解耦到不同 GPU 池，让计算密集型 Prefill 和访存密集型 Decode 各司其职，是大规模 LLM 推理架构最重要的工程范式之一。
- #AI 原生架构
Archive
96 篇文章
切换标签
Prefill-Decode 分离通过将 LLM 推理的两个计算不对称阶段解耦到不同 GPU 池，让计算密集型 Prefill 和访存密集型 Decode 各司其职，是大规模 LLM 推理架构最重要的工程范式之一。
Speculative Decoding 在 2026 年已经从论文玩具变成生产标配，但工程化部署远比装上就用复杂。本文基于 14 个推理集群的 6 个月跟踪数据，从草稿模型分布对齐、EAGLE-2 推测树构建、KV cache 复用冲突、continuous batching 步调不一致四个维度拆解生产真相，给出工程清单与未公开验证的猜想。
当 LLM 输出 JSON、SQL、工具调用成为生产刚需，Structured Output 已从 prompt trick 演化为 token-level CFG 强约束 + FSM 状态机的硬工程。本文剖析 xGrammar / Outlines / SGLang grammar / TensorRT-LLM llguidance 四大流派的工程真相、与 vLLM / SGLang / llama.cpp 的集成深度、Schema-Valid Rate 三大 SLO、Schema Evolution 的双 grammar 灰度策略，以及 80% 生产部署必选的 vLLM 0.7 + xGrammar 范式。