上下文成本治理:占我们账单 58.4% 的那个框,怎么在不降效果的前提下降掉 71.3%

先给结论:2026 年做 AI 应用,最贵的一项支出已经从”模型调用”变成了”上下文”。我们自己的账本上,八个月前占总成本 31% 的上下文费用,现在占 58.4%——模型单价确实在跌,但大家把窗口越开越大、越塞越多,总账单不降反升。这篇文章记录我们如何把”上下文”当成成本中心来治理,最终在不降效果的前提下,把这部分开销压掉了 71.3%。

一、上下文为什么会变成最贵的部分

三个趋势叠在一起,把上下文推成了成本中心:

  • Agent 化让调用轮次暴涨。单轮问答 1 次调用,一个带工具的 Agent 任务平均 18.7 次调用。每一轮都要把历史重新发一遍——这不是线性增长,是平方级。一个跑了 20 轮的会话,第 20 轮发出去的 token 量大约是第 1 轮的 20 倍。
  • 长上下文被当成万灵药。1M 窗口出现后,”先全塞进去再让它找”成了默认设计。问题在于输入计费,塞进去的每一个字都在付钱。
  • 检索结果的泛滥。为了”稳一点”,很多团队把 top-k 从 5 调到 20,单次检索注入 6,000 token 变成 2.4 万 token,而命中率提升远不成比例。

把这些放到一张表里看就很清楚:传统应用里上下文是”免费的环境”,AI 应用里上下文是”按量计费的原料”。

二、第一件事:把上下文用量和任务绑定

治理的第一步是可见。我们把每次调用的 token 拆成四个桶,按任务 ID 聚合:

桶 占我们总输入 token 典型问题
系统提示与工具定义 14.2% 工具定义越加越长,一个都没删过
用户输入 9.8% 重复粘贴的附件全文
检索注入 43.7% top-k 过大、重复文档、全文塞入
会话历史 32.3% 从不压缩,原样回传

检索注入 + 会话历史合计 76%,这就是主战场。用户输入其实只占不到一成——我们一度以为用户在反复贴大段材料,数据说不,是系统在反复注入。

这里有个反直觉的发现:高峰成本时段不是晚上,是凌晨的批处理任务。那些没人盯着的定时任务,占了上下文成本的 38%,而且大量是重复计算。可见性本身就能省钱——我们把批处理加入看板后的第一周,光”发现重复跑”就砍了 11%。

三、四个动作,砍掉 71.3%

3.1 检索从”塞进去”改成”先打分再取头”

我们原来固定 top-k=20。改成先取 40 个候选做轻量重排,只把得分超过阈值的头部文档(通常 3 到 5 个)真正注入,并且每篇只注入相关片段而不是全文。单次上下文从 2.4 万降到平均 3,800 token,任务成功率反而从 81.4% 升到 83.1%——噪声少了。

3.2 会话历史做分层压缩

把历史切成”近期原样 + 远期摘要”。近期 6 轮保留原文,更早的压缩成一段结构化摘要(已确认事实 / 已排除项 / 待办)。压缩后的历史只有原始的 22%,而我们在 30 个真实长会话上做过一致性回归,答案质量没有可测的下降。

3.3 缓存能吃掉的,绝不重发

系统提示 + 工具定义这两块是高度静态的,改用提供商的上下文缓存能力。(这里有个必须说清楚的坑:缓存命中的前提是前缀逐字节一致。我们最初在系统提示末尾拼了个动态时间戳,命中率直接归零,白高兴一场。把时间戳挪到用户消息里,缓存命中率回到 91.2%。)

3.4 给上下文设上限,超了就走摘要路径

这是最粗暴也最有效的一条:单次请求上下文硬上限 12k token,超出即走”先摘要再回答”路径。上线第一周,长文档查询的成本直接掉了 62%,代价是最难的 4% 的查询需要两跳才能答。

四、治理结构:谁为上下文负责

工具层面的动作谁都能抄,组织层面的动作才是能不能持续的关键。我们最后落成三条制度:

  • 上下文预算写进需求。新功能上线必须申报”预期单任务上下文 token 数”,超阈值需要评审。类比一下——没有团队会允许一个接口不限流。
  • 每个功能挂一个上下文成本看板,周报里和功能使用量、成功率并列。不报数的功能,默认没有观测。
  • 成本复盘进双周会,和事故复盘同级。我们内部的说法是:算错一次账是小事,没人看账才是大事。

五、什么样的场景不要这么省

也要说边界,这套方法在两种场景会反噬:

  • 需要逐字精确的合规审阅。合同、法条、财报摘要——摘要会丢掉限定词,”大部分情况下可以”和”在特定条件下可以”压缩后可能变成一个意思。这类必须全量 + 引用定位。
  • 探索型复杂推理。推理过程本身的价值高于 token 成本,过早压缩会让模型丢掉中间假设。我们留给推理的场景基本不做历史压缩。

所以准确的说法不是”上下文要省”,是”上下文要按价值密度花”。

总结

这次治理最大的认知转变是:上下文不是免费的运行环境,是显性的成本科目。当模型单价还在跌的时候,用上下文治理去对冲账单上涨,比的不是谁的模型便宜,是谁的管道干净。

如果只能抄一条:先把”检索注入”和”会话历史”这两个桶的占比测出来,大概率你会发现 70% 以上的钱花在自己都没注意到的地方。

互动提问:1) 你们的账单里,输入 token 和输出 token 的比例是多少?如果输入远大于输出,问题大概率在管道不在模型。2) 你有没有测过自己系统的上下文缓存命中率?是不是也被一个动态字段悄悄归零过?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-07

发表评论