2026 本地 LLM 推理与服务框架横评:从 llama.cpp 到 vLLM 的六款主流工具实战决策框架
当一个团队决定把大模型从云端 API 转向自托管推理时,第一个选择是推理框架。本文用 2026 年 6 月 17 日实时数据,对 vLLM / llama.cpp / TGI / FastChat / MLC-LLM / text-generation-webui 六款主流框架做横评,含量化格式阶梯、显存分配、TTFT/TPS 实测对比、选型决策树与生产部署组合模式。
- #AI 工具与产品