推理缓存四层实测:32 万次请求账单降 41%,语义缓存只该用在那 14.7% 上

AI 应用的账单里,最容易被忽视的一项浪费不是”用了太贵的模型”,是同一个问题被问了一千遍,每次都按原价付钱。我们服务的一个 SaaS 客户,今年六月份把推理月账单摆到桌上看:2 万美元,其中 41% 的 token 消耗来自重复或近重复的输入——同一个产品的参数说明、同一段错误堆栈、同一份合同的固定条款,在不同的用户会话里被反复送进模型。

这件事没有”换便宜模型”的爽感,但做完之后的数字:这个客户的推理账单从 2.0 万美元降到 1.18 万美元,降幅 41%,而答案质量曲线(基于 1,200 次抽检)只动了 0.6 个百分点。这篇复盘写我们怎么把”缓存”从一个听起来很虚的词,拆成四层可以分别验证的工程决策,以及每一层的适用边界和翻车记录。

一、为什么不能只上”语义缓存”:三种重复的形态完全不同

很多人一听缓存就想到语义缓存(embedding 相似度匹配),但开工前我们先做了统计,一个月内 32 万次请求的重复类型分布:

重复类型 占比 特征 适合的层 风险
完全相同的请求(系统提示、用户问题全一致) 28.4% 逐字节一致 精确缓存(cache key 精确匹配) 几乎无,除非上下文带时间
前缀完全相同(系统提示 + 多轮历史一致,只有最后一句不同) 31.2% 长前缀一致 Prompt 前缀缓存(provider 侧 KV 复用) 前缀稍有改动即失效
近重复(语义一致,字面差别大) 14.7% 改写、同义、换关键词 语义缓存(embedding 相似 + 阈值) 最危险,答案可能错配
真重复计算(同样内容,不同问法但答案确定) 10.3% 可枚举的问题域 规则化预计算 + 缓存表 答案更新需失效

这张表直接否掉了”一次性上语义缓存”的方案。28.4% 的精确重复是最安全的钱,31.2% 的前缀重复是性价比最高的钱,而语义缓存只有 14.7% 且要承担风险。我们的落地顺序就是照这个占比从高到低、从安全到激进做的。

二、第一层:精确缓存,但 key 的设计是全部细节

精确缓存听起来就是”MD5(请求 JSON)”当 key,但真正的请求里藏着一堆会让 key 失配或误配的东西:

  • 上下文里的时间戳。用户的请求带着”现在是 2026 年 X 月”,你按全文本算 key,等于每个小时一批缓存全部失效。我们把系统提示和用户问题里的时间表达式归一化,命中率立刻从 22% 到 41%。
  • 模型参数必须进 key。temperature、max_tokens、甚至 provider 的模型快照版本。我们踩过一次:模型静默升级,同一 key 命中了旧答案,客户看到风格突变。后来我们把模型响应里的 model 版本号也纳入 key。
  • 缓存 TTL 不能拍脑袋。我们按期问类型分档:产品参数类 7 天,错误堆栈类 1 天,涉及库存价格的 5 分钟。这一层做完,28.4% 里实际命中 23.6%,已经吃掉了账单的将近四分之一。

三、第二层:前缀缓存,收益最大且最被低估

前缀缓存的原理是 provider 侧(or 你自建推理时)复用相同前缀的 KV,费用上 Anthropic/OpenAI 都按缓存命中部分打折计费。我们这个客户的系统提示有多套模板,平均前缀 1,400 token,占单次请求输入的 82%——这意味着如果前缀能命中,输入费用直接降到一两折。

做好它只有一个要点:前缀必须字节级稳定。我们把系统提示里的”当前用户:xxx””当前时间:xxx”全部挪到前缀之后,前缀只放真正静态的指令和规范。再配合长会话场景下的”前缀只追加不修改”(历史消息只往后加,不改前面),前缀命中率做到 76%。

这一层单独把账单拉低了 19%,而且不牺牲任何质量——因为命中的是同样的 KV,答案和完全不缓存逐字节一致。这是我们整个项目里最”免费”的收益。

四、第三层:语义缓存,阈值和回退是生死线

语义缓存是四层里唯一需要小心的。我们的做法保守但有效:

  • 先分类,再决定能不能进语义缓存。只有”答案确定、不依赖用户私有状态”的问法才配进入。涉及”我的订单””我的额度”这类问题,哪怕 embedding 相似度 0.99 也不给命中。
  • 阈值不设单一值,按问法类型分档:事实类问题(产品参数、错误码含义)阈值 0.93;观点类、开放性建议类干脆不缓存。我们测过,阈值从 0.85 降到 0.80,命中率涨 11 个点,抽检错误率从 2.1% 涨到 9.4%——这个交换不划算。
  • 命中后要把”这是缓存答案”作为信号透传给应用层,让前端可以标注,也让 AB 测试能区分。我们的抽检体系就是靠这个标记,才能量化”缓存是否改变了体验”。

五、第四层:预计算,用便宜的后台任务消灭实时请求

最后这一类最容易被忽略:有些”查询”本质不是查询,是固定答案的检索。我们给客户梳理后发现,41% 的重复里有一部分是”每个用户都会问的通用问题”——产品怎么退款、支持哪些支付方式。这些答案每周由模型批量生成一次,存进缓存表,实时请求直接读表,成本从每次 3,000 token 变成一次查表。

这一层的治理要求最高:答案要定期重新生成(我们 7 天)、失效要能联动(产品规则变更时),否则就是把过时信息固化下来。我们配了一个”答案新鲜度”看板,超过 8 天未更新的预计算项自动标红。

总结

2.0 万降到 1.18 万,降幅 41%,抽检质量只动 0.6 个点。这次优化教会我们的事可以压成两句:第一,重复请求里至少一半的钱是精确/前缀缓存就能安全吃掉的,不需要任何智能判断;第二,语义缓存只对”答案确定且与用户状态无关”的问题开放,阈值宁紧勿松。

比技术更重要的是那次统计:我们省下的每一分钱,都对应一个被识别出来的重复模式;没做统计就直接上语义缓存的团队,通常既冒了风险又没省到底。

互动提问:你们做过请求重复类型的统计吗?我们最初预估语义类重复占一半以上,实测只有 14.7%,这个差距直接改变了方案。你们那边的分布是怎样的?

互动提问:语义缓存的阈值你们怎么定的?我们事实类 0.93、观点类不缓存,想知道有没有团队用”命中后二次校验”的方式把阈值放得更宽松。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-12

发表评论