LLM 应用的 Token 成本工程:缓存、路由与网关的 5 个实战模式
把 LLM 应用从'能跑'带到'能盈利'的成本优化手册——围绕 Prompt Caching、模型路由、语义缓存、API Gateway、Token Budgeting 5 个模式,给出可落地的代码片段与账单算术。
- #AI 编程
👋 hi,这里是
随手记下关于代码、设计 与日常的一些小想法。
Journal
随笔、研究与作品 — 一个持续生长的写作实验室。
按标签筛选
把 LLM 应用从'能跑'带到'能盈利'的成本优化手册——围绕 Prompt Caching、模型路由、语义缓存、API Gateway、Token Budgeting 5 个模式,给出可落地的代码片段与账单算术。
从 Augmented LLM 到自治 Agent——深度拆解 Anthropic 在《Building effective agents》中提出的五类工作流模式(Prompt Chaining / Routing / Parallelization / Orchestrator-Workers / Evaluator-Optimizer),结合 Cloudflare Code Mode 与 MCP 协议演进,探讨在 2026 年构建 LLM Agent 时应如何克制地引入复杂度。
今日 6 条 AI 要闻. Google 在德国为 AI 概览担责. 银行 AI Agent 被极小金额转账攻陷. Apache Burr 1.0. 员工每周花 6+ 小时看护 AI.
用一份 6 个月时间线回答:2025H2–2026H1 究竟发生了什么?范式为什么变了?开发者和组织下一步该把资源压在哪里?
AI原生架构· №12
Anthropic 在 2024 年 11 月开源的 MCP 协议,在 2026 年已经从"概念验证"走向"生产部署"。本文以最新 2025-11-25 规范为锚点,从架构、传输、安全、性能、可观测五个维度,剖析在生产环境部署 MCP 时必须回答的工程问题,并附 Cloudflare Code Mode 等 2026 年新范式的实战代码。
AI原生架构· №11
从 Anthropic《Building Effective Agents》到 LangChain《Context Engineering 的崛起》,复盘 2024–2026 Agent 工程范式演进:为什么 context 才是决定 agent 表现的关键,以及开发者应当如何落地。
【AI 日报】2026年06月11日 AI 最新动态 今日 AI 圈六大看点:德国法院判定 Google 须为 AI Overviews 虚假回答担责;「AI 取代员工」的 CEO 言论遭学界与社区炮轰;微软开源工具被黑、专偷 AI 开发者凭据;OpenAI 秘密递交 IPO 申请、ChatGPT
📚 本系列目录 :《AI 日报》 当前第 26/26 篇 · 上一篇:【AI 日报】2026年06月09日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 26 篇。 ← 上一篇:【AI 日报】2026年06月09日 AI 最新动态 【AI 日报】2026年06月10日
📚 本系列目录 :《AI 日报》 当前第 25/26 篇 · 上一篇:【AI 日报】2026年06月08日 AI 最新动态 · 下一篇:【AI 日报】2026年06月10日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 25 篇。 ← 上一篇:【AI
# 【AI 日报】2026年06月08日 AI 最新动态 今日 AI 行业有大事接连发生:GitHub Copilot 涨价被网友戏称“Tokenpocalypse”、OpenAI 秘密研发的“超级 App”即将登场、特朗普政府或入股 OpenAI、Anthropic 上市前 Daniela Amodei 公开回应盈利能力质疑、Google 与 SpaceX 达成每月 9.2 亿美元算力大单、Mira Murati 的 Thinking Machines 重新回到聚光灯下。以下是今日值得关注的...
# 【AI 日报】2026年06月07日 AI 最新动态 今日 AI 行业又有重磅消息:OpenAI 推出全新记忆架构,Anthropic 估值逼近万亿美元,NVIDIA 用 Arm 芯片重新定义 PC,Microsoft 发布 7 款自研 MAI 模型,Claude Sonnet 4.8 泄露证据持续累积,联邦层面 269 页的《美国 AI 法案》草案出台。以下是今日值得关注的 5 条核心新闻
📚 本系列目录 :《AI 日报》 当前第 22/26 篇 · 上一篇:【AI 日报】2026年06月05日 AI 最新动态 · 下一篇:【AI 日报】2026年06月07日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 22 篇。 ← 上一篇:【AI
📚 本系列目录 :《AI 日报》 当前第 21/26 篇 · 上一篇:【AI 日报】2026年06月03日 全球 AI 最新动态 · 下一篇:【AI 日报】2026年06月06日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 21 篇。 ← 上一篇:【AI
2026年6月5日AI领域最新动态:Meta Business Agent、微软Scout、亚马逊AI购物助手、微软Majorana 2量子芯片、Anthropic IPO、GitHub Copilot定价调整等热点新闻汇总。
📚 本系列目录 :《AI 日报》 当前第 20/26 篇 · 上一篇:【AI 日报】2026年06月02日 AI 最新动态 · 下一篇:【AI 日报】2026年06月05日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 20 篇。 ← 上一篇:【AI
今日聚焦:Anthropic 秘密提交 S-1 冲刺 IPO、Alphabet 800 亿美元 AI 基建融资、佛州起诉 OpenAI、斯坦福发布 AI Agent 协作指南。
📚 本系列目录 :《AI 日报》 当前第 18/26 篇 · 上一篇:【AI 日报】2026年05月30日 AI 最新动态 · 下一篇:【AI 日报】2026年06月02日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 18 篇。 ← 上一篇:【AI
📚 本系列目录 :《AI 日报》 当前第 17/26 篇 · 上一篇:【AI 日报】2026年05月29日 AI 最新动态 · 下一篇:【AI 日报】 2026年5月31日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 17 篇。 ← 上一篇:【AI
📚 本系列目录 :《AI 日报》 当前第 16/26 篇 · 上一篇:【AI 日报】2026年05月27日 AI 最新动态 · 下一篇:【AI 日报】2026年05月30日 AI 最新动态 📚 系列导航 《 AI 日报 》共 26 篇,本篇是第 16 篇。 ← 上一篇:【AI
# 【AI 日报】2026年05月27日 AI 最新动态 > 本日报整合自 VentureBeat AI、TechCrunch 等权威科技媒体,为您呈现当日最热门的 AI 行业动态。 --- ## 1. Railway 融资 1 亿美元,剑指 AWS 的 AI 原生云基础设施 云基础设施公司 Railway 宣布完成 1 亿美元新一轮融资,正式向 AWS 在云计算领域的主导地位发起挑战。R...