文章系列日历归档关于搜索

Blog·Studio

一个记录思考、笔记与作品的技术博客。

Connect

© 2026 · Blog Studio

鄂ICP备19019526号

crafted with care

stay curious ✦

文章
AI 原生架构

Archive

标签「AI 原生架构」

96 篇文章

切换标签

全部555 AI 日报36 AI 编程51 Hermes Agent13 AI 工具与产品31 AI 原生架构96 大模型研究97 杂项2 AI 行业趋势22 行业研究0 游戏1 Agent 技术123 智能体与 AI 应用开发71 游戏引擎与渲染4 游戏开发4 游戏服务架构4

LLM 推理服务的 SLO 工程 2026:从延迟分位数到自适应弹性
把 LLM 推理服务的延迟分位数、错误预算、吞吐与成本组合成 SLO 三元组，通过 SLO 驱动的自适应弹性、跨区域多模型协同、可观测性闭环，把可靠性从经验运维升级为可量化、可监控、可演化的工程闭环。
- #AI 原生架构
2026.08.13
LLM 推理的多区域复制与一致性工程 2026
把跨地域 KV 复制、一致性等级、地理就近路由、灾难切换放进同一个工程框架:从异地多读到异地多写、从最终一致到强一致的不同 SLA 路径,给出容量规划、延迟预算与 RPO/RTO 决策表。
- #AI 原生架构
2026.08.12

标签：AI 原生架构

LLM 推理的 GPU 池化与多租户公平分配工程 2026

把 GPU 池化拆成 MIG、MPS、time-slicing、vGPU 四层垂直栈,用 (mathcal{G}, mathcal{T}, mathcal{S}, mathcal{Q}) 四元组和 DRF 公平性算法,讲清大模型推理服务从单卡独占到多租户切片的关键决策与失败模式。

#AI 原生架构

2026.08.11

LLM 推理的内存压力工程 2026:从显存碎片化到 OOM 预测

把分配、碎片、泄漏、峰值四面体作为显存压力工程的理论骨架;以 KV cache 池化、LSTM OOM 预警、四级优雅降级、显存泄漏门禁、NUMA 亲和性调度为五条生产治理轴;给出 13 项监控指标 + 8 条告警 + 4 类事故演练 + 3 项回归门禁的 SRE 可观测性清单。

#AI 原生架构

LLM 推理异构硬件调度工程 2026

把 GPU SKU 选型、NVLink 拓扑、PCIe 通道、HBM 容量、TPU 切片、占位成本、跨域路由七个约束统一为一个调度真相，从单集群多卡到多云 TPU 共存的工程闭环。

#AI 原生架构

多模型路由与级联推理工程 2026：从 AI Gateway 到成本感知级联

当一个应用同时调度数十个 LLM、跨越多家供应商、并在请求级做大小模型级联时,AI Gateway 不再是简单的反向代理——它是一个面向推理经济学与延迟 SLO 双目标的实时调度系统。本文从形式化定义到生产可观测性,给出 2026 年的完整工程路径:协议适配、配额隔离、成本感知权重、级联可验证性,以及给 SRE 的五件可观测性清单。

#AI 原生架构

LLM 推理公平性调度工程 2026

把单分位 P99 优化推到多分位 SLO + 多租户 Token-Level Fair Queue + 抢占语义与背压的联合设计，以 SLO Compliance Ratio、Jain's Fairness Index、Type Fairness Ratio 三件度量与一个统一的容量规划公式,给出生产侧可复用的判定与治理闭环。

#AI 原生架构

LLM 推理请求级能耗预算工程 2026

把每次大模型请求视为带有质量、延迟与能源约束的资源交易，建立从 Token 功耗计量到绿色调度、可观测性和回滚治理的生产闭环。

#AI 原生架构

LLM 推理服务的弹性伸缩与冷启动工程 2026

把冷启动拆成六阶段流水线、把弹性伸缩纳入 L、W、S、C 四元组、把 Warm Pool 与 Spot 实例按业务 SLO 组合，通过 CUDA graph 缓存、KEDA LLM-aware autoscaler、graceful drain、GPU circuit breaker 五件套，把 LLM 推理服务的资源池动态行为推上一个台阶。

#AI 原生架构

LLM 推理的训练-推理一致性工程 2026：从算子融合、激活回收到位元保真的生产闭环

把训练-推理不一致拆解成算子融合、激活数值与 KV 布局三类通道,引入位元保真上限,通过双路径对照、per-layer skew、长 context PPL 矩阵与跨 GPU 厂商审计四条工程闭环,把 skew 从偶发事故转成 SRE 的常态化治理能力。

#AI 原生架构

Context Cache 工程 2026：KV 复用与 NIAH 生产闭环

Context Cache 不是狭义的 KV Cache 复用，而是对长上下文输入进行有策略的记忆、压缩、检索和再利用的完整工程体系，核心在于识别上下文中真正被模型使用的部分，并在缓存命中率、内存占用和输出质量三者之间找到工程上可维护的平衡

#AI 原生架构

LLM Tokenizer 词表工程 2026：从裁剪到 Token 经济学

把词表作为推理系统的隐藏第一公里,审视多语言词表覆盖、词表裁剪收益、Token 与 KV cache 浪费的耦合、词表兼容性与下游迁移成本,把工程真相拆到生产可落地的粒度。

#AI 原生架构

KV cache 多层存储工程 2026：从 HBM 到 NVMe 的张量换入换出

把 KV cache 张量生命周期建模为四层存储的换入换出问题：HBM-DRAM-NVMe-远端对象层，给出 vLLM / SGLang HiCache / LMCache / Mooncake 的层级化生产配置与可观测 SRE 决策表。

#AI 原生架构

LLM 推理服务的 PD 分离架构 2026:从 KV 跨节点传输到容量规划的生产真相

把 prefill 与 decode 算力解耦、靠 RDMA/NCCL 跨节点传输 KV cache,把共置架构的算力错配转化为容量规划 + 网络 + 状态机的工程问题,是 2026 年 LLM 推理服务的默认形态。

#AI 原生架构

LLM 推理服务的影子模式与金丝雀预热工程 2026

把影子流量回放、金丝雀预热池、双轨一致性对照与贝叶斯自动回滚整合为可工程化的发布四元闭环, 让 LLM 推理服务的语义质量退化在用户感知前就被捕获, 让冷启动假象在金丝雀前就被消除, 让发布工程师在 3 秒内做出继续或回滚的决策.

#AI 原生架构

LLM 前缀缓存语义工程 2026：自动缓存与命中率治理的闭环架构

把前缀缓存从精确 hash 提升到语义近似、从单请求优化扩展到跨租户治理、从经验调参升级为 SLO 驱动的命中率工程——通过 chunk hashing + 三级 tiering + 语义放大 + 失效模式治理的四阶段闭环，把 LLM 推理的 TCO 推向新水位。

#AI 原生架构

LLM 推理的 NVLink 拓扑感知调度工程 2026：从域内亲和到 TP 决策的真相

把 NVLink 域内亲和作为调度硬约束、把 PCIe 跨域带宽作为软约束、把 HBM3e 容量作为长约束、把 Tensor Parallel 切分作为可调旋钮，通过拓扑感知调度器把 tensor-parallel、pipeline-parallel、expert-parallel 三轴映射到物理拓扑上，把 LLM 推理的跨节点吞吐推上一个台阶。

#AI 原生架构

推测解码的工程真相 2026：从 Draft Model 到生产 KV 复用的全栈拆解

把 Tree Attention 当作草稿、把 Acceptance Rate 双峰作为调度信号、把 KV Reuse Ratio 作为显存放大器，通过 draft 选型四象限 + 动态 γ/w + 自动 fallback 三件套，把推理加速比从 1.8x 推上 3.0x 同时保持 P99 延迟不爆。

#AI 原生架构

多 LoRA 推理工程 2026:分桶、KV 隔离与 SRE 闭环

把多 LoRA 推理服务视为受张量存储、KV 隔离、多 SLO 三重约束下的在线调度问题,通过 PEFT 微架构分层、L_max 容量公式、adapter-aware KV scheduler 与租户级成本归因,构建 2026 年生产可用的多租户 LLM 推理工程闭环。

#AI 原生架构

LLM 推理服务的 SRE 治理与延迟分位工程 2026

把 P99 从系统测度提升为可治理对象,围绕调度噪声 / 计算路径 / 多租户干扰三类机制展开,统一为分位-预算耦合框架,给出 7 条带量化指标的工程推论,为推理服务的 SRE 治理提供可量化的反馈闭环。

#AI 原生架构

← 上一页2 / 5

跳转到页码