AI 应用在线评估工程 2026：从隐式信号到数据飞轮的可观测闭环
当 LLM 应用的 MVP 顺利上线，第一次出现的不是新功能需求，而是没人能回答的那个问题：它到底好不好？本篇系统拆解 AI 应用在线评估的工程闭环——从隐式信号采集、显式反馈通道、A/B 实验与护栏，到数据飞轮与再训练的可观测链路。
- #智能体与 AI 应用开发
👋 hi,这里是
随手记下关于代码、设计 与日常的一些小想法。
Journal
随笔、研究与作品 — 一个持续生长的写作实验室。
按标签筛选
当 LLM 应用的 MVP 顺利上线，第一次出现的不是新功能需求，而是没人能回答的那个问题：它到底好不好？本篇系统拆解 AI 应用在线评估的工程闭环——从隐式信号采集、显式反馈通道、A/B 实验与护栏，到数据飞轮与再训练的可观测链路。
大模型知识编辑通过因果追踪定位知识神经元，结合 ROME、MEMIT 等超平面编辑算法实现精准修正，核心挑战在于批量编辑时的追踪-干扰平衡——知识方向正交化是当前最有效的干扰控制手段。
聚焦 Agent 流式工程落地：HLC 单调时钟、协议分层（SSE/WS/gRPC）、idempotent tool_call + partial store、cost-aware 早停决策与 SRE 可观测闭环，与早间/晚间的理论角度错开。
当 Agent 把反思当成 prompt 模板时注定失败，反思算子在经验流形上的不动点存在性，是 2026 反思机制收敛的几何判据。本文给出 Banach 不动点 + Pfaffian 流的双重视角。
从 PagedAttention 块表、RadixTree 复用、Chunked Prefill SLO 折中到 SM 调度与抢占式调度的工程化对齐，把推理引擎从 60% 利用率推到 85%+。
企业级 RAG 的安全边界不在提示词，而在检索、缓存、引用与审计链路中持续证明用户对证据有访问权。本文从 ACL、ABAC、租户隔离、策略版本、引用溯源和离线泄露评估出发，给出一套面向 AI 应用开发者的权限感知 RAG 架构。
DeepSeek-V3 风格无辅助损失本质是把负载均衡约束从 Lagrangian 形式转化为节点势函数形式的几何对偶——三种视角统一指向同一 Fisher 流形优化问题。
从失败分类、重试策略、幂等键设计到 Saga 回滚,拆解 4.2 亿次工具调用日志的闭环架构与 8 周落地计划。
当 Agent 面对的不是单一任务而是任务族时，传统的训练—部署两段式机器学习范式会让样本效率坍塌；本文从 PAC-Bayes 框架与任务流形几何两个维度，给出 Agent 自适应能力的统一刻画。
当 8 卡 H100 的 NVLink 域把全互联带宽堆到 900 GB/s、把跨 PCIe 交换机的 P2P 带宽压到 64 GB/s 时, tensor parallelism 跨域切分会立刻把推理时延拖慢 1.4-2.1 倍——本文从拓扑模型、张量并行切分点、流水线并行阶段数、专家并行通信四个维度拆解 GPU 拓扑感知调度的工程真相。
面向终端用户的对话式 AI 产品，体验命门不在模型而在流式输出与多轮状态管理。本文把对话会话抽象为可恢复的事件溯源状态机，从 SSE 流式传输、原子检查点、幂等重连三个维度给出端到端架构，并沉淀一份从流式聚合到断线恢复的工程落地清单。
把 LLM 的非自回归生成从离散扩散的随机游走重写为一条可微的常微分方程轨迹，在向量空间直接走最优传输直线，从而把推理时计算、收敛性、可控性统一到一套 ODE 求解器里。
当 LLM Agent 拿到 bash/python 工具并真去执行任意代码时，隔离工程就从“加固”变成“隔离”。本文从 microVM 快照、syscall 白名单、vault 短时凭证、冷启动延迟预算四个维度拆解 2026 年生产 Agent 沙箱的工程真相。
把 Agent 评估从「平均通过率」重写为「能力边界 ∂A 的几何重建」：本文以拓扑学、失败算子代数与 Banach 不动点理论刻画能力边界 ∂A，给出五项可工程化的 SRE 推论。
当一个 70B 基座要同时承载 200 个任务的 LoRA 适配器时，传统独立推理进程范式在显存、延迟、调度三维度失效；本文给出 S-LoRA 统一内存池、PEFT 热加载与三层路由元数据索引的生产工程真相。
2026 H2 严肃 AI 应用的缓存工程已从 “凭感觉调” 升级为 “双层架构 + 五项生产策略”：模型内层 prompt caching（命中即跳过 prefill）+ 应用层 semantic cache（cosine≥0.92 + LLM-as-judge 护栏），联合命中率 ρ_joint = ρ_s + (1-ρ_s)·ρ_p·(1-FPR_s)。
当 LLM 被视作由稀疏子图（circuit）构成的计算图，叠加假说揭示了「为什么模型能用少于特征数的神经元编码所有特征」，本文给出从归因、因果干预到稀疏编码的几何统一。
多智能体从 demo 到生产的工程真相:把协同、状态、消息三元约束形式化为 Inv₁ 终止性、Inv₂ 幂等性、Inv₃ 因果性,钉进 LangGraph 显式图 + plan 版本化 + idempotency_key + trace 串联 这套工程基座。
用 POMDP 信念状态的信息几何把 LLM agent 的世界模型形式化为隐空间后验更新,ReAct/Reflexion/Plan-and-Execute 是不同粒度的 belief update 策略,提出三条可证伪猜想刻画 prompt 工程到 world model 工程的过渡。
当量化模型在部署第 3-6 周出现“沉默退化”时，离线 benchmark 帮不了你——需要把 PPL 漂移、激活分布偏移、任务级回归三层信号收口到自动回滚决策矩阵的在线监控工程。