LLM 推理服务的 SLO 工程 2026:从延迟分位数到自适应弹性
把 LLM 推理服务的延迟分位数、错误预算、吞吐与成本组合成 SLO 三元组，通过 SLO 驱动的自适应弹性、跨区域多模型协同、可观测性闭环，把可靠性从经验运维升级为可量化、可监控、可演化的工程闭环。
- #AI 原生架构
把 GPU 池化拆成 MIG、MPS、time-slicing、vGPU 四层垂直栈,用 (mathcal{G}, mathcal{T}, mathcal{S}, mathcal{Q}) 四元组和 DRF 公平性算法,讲清大模型推理服务从单卡独占到多租户切片的关键决策与失败模式。