Agent 记忆架构实测:124 次压测,工具重复调用率从 31.7% 压到 4.3%

上个月我们接进一个外部 Agent 做「自动找上游报价」的活。它跑得很顺,日均调用 3000 多次,直到有一天财务发现某供应商的报价单被重复下载了 40 遍——不是它想偷,是它每次都觉得「上次拿的那份可能过期了,我再确认一下」。

这不是个例。我们把内部三个团队半年里上线的 8 个 Agent 拉出来复盘,统计了 124 次真实压测,得到一个不太舒服的结论:Agent 在真实环境里的失败,70% 不是「不会做」,是「不记得自己做过了」。工具调用重复、上下文重算、同一份数据拉八次,这些浪费掉的算力和延迟,比模型本身贵得多。这篇把我们踩过的坑和最终落地的四层记忆方案写清楚。

一、先分清三种「忘」,它们是不同病

复盘时我们把所有「记忆失效」的案例归成三类,治疗方式完全不同:

类型 典型表现 占比 根因
会话内失忆 同一个任务里反复问同一个问题 41.2% 历史被截断,没有关键结论沉淀
跨会话失忆 昨天查过的今天再查一遍 33.9% 没有持久化层,进程重启即清零
跨 Agent 失忆 A 拿到的数据 B 完全不知道 24.9% 没有共享记忆总线,各自为政

最容易被忽略的是第三类。我们的报价 Agent 和数据清洗 Agent 曾经各跑各的,一份 300MB 的原始数据被下载、清洗、入库了三遍。后来做统一记忆层,这一项直接省掉了每天 47 分钟的机器时间。

二、四层记忆架构,每层只解决一个问题

我们最终稳定下来的架构是四层,不要混用:

  1. 工作记忆(Working Memory)。就是上下文窗口本身,只放当前任务必需的东西。硬约束:不超过窗口的 60%,剩下的留给推理和输出。我们的做法是给每轮对话算一次「信息密度」,密度低了就触发压缩。
  2. 情景记忆(Episodic Memory)。「我做过什么、结果如何」。每次工具调用后写一条结构化记录:输入指纹、输出摘要、是否成功、耗时。这一层是治「重复调用」的,Agent 动手前先查指纹。
  3. 语义记忆(Semantic Memory)。「我知道什么」。从情景记忆里用模型抽取出来的稳定事实,比如「供应商 A 的报价每周一更新」。这一层是治「跨会话失忆」的,也是检索增强的语料来源。
  4. 程序记忆(Procedural Memory)。「我会怎么做」。把反复成功的工具调用序列固化成可复用流程,类似 LangChain 的 Tool 或 MCP 的 Resource。这一层是治「每次重新 planning」的。

这四层的读写延迟和成本差一个数量级,所以必须分层:工作记忆毫秒级但最贵,情景记忆秒级,语义记忆百毫秒级,程序记忆基本免费。顺序反了就是灾难——把工作记忆当数据库用,账单会先炸。

三、124 次压测出来的四个关键数据

拿 8 个内部 Agent、124 次端到端压测(每次 50 个真实任务)做的 A/B:

指标 无记忆层 四层记忆 变化
工具重复调用率 31.7% 4.3% -86.4%
任务平均 token 消耗 18,400 7,900 -57.1%
跨会话任务成功率 61.2% 83.6% +22.4pp
P95 端到端延迟 47.3s 19.8s -58.1%
存储成本(月) $0 $23 +$23

第四行值得单独说:延迟降了近六成,一半功劳来自情景记忆挡住了重复调用,另一半来自语义记忆让模型不再「从零推理」。但注意最后一行——记忆不是免费的,一个月 23 美元的存储和检索开销,是我们 8 个 Agent 共享一套基础换来的。如果只为一个 Agent 建记忆层,经济性要重算。

还要说一个反直觉的发现:语义记忆抽取得太勤会掉点。我们试过每轮对话都抽事实,结果语义库里堆了大量「这次任务正在处理 X」的临时状态,检索时反而把噪音排到前面。改成只在任务结束、且置信度高于阈值时才写入,语义记忆的检索命中率从 58.1% 涨到 81.7%。

四、检索策略:不要什么都塞给模型

有了记忆层,下一个问题是「取哪几条」。我们对比过四种策略:

  • 全量塞入:超过 8 条就开始稀释注意力,任务成功率下降明显,pass。
  • 最近优先:对连续性任务好,但对「三天前的某个结论」完全失效。
  • 余弦相似度 top-k:通用,但我们遇到过一个坑——查询「最近的报价」会把三个月前的报价匹配上,因为语义太像。相似度解决不了时效性。
  • 混合排序(相似度 0.6 + 新近度 0.25 + 任务类型匹配 0.15):最终选的这个。新近度权重专门治「最近优先」的另一端,任务类型匹配防止把数据清洗的记忆喂给报价 Agent。

混合排序上线后,「取到过期记忆导致任务失败」的案例从 11 次/千任务降到 1.4 次/千任务。这是我觉得最值得抄的一条:记忆检索的排序权重,比记忆存在哪更重要。

五、什么时候不要上记忆层

也要泼冷水,两种场景我们明确不上:

  • 强合规、要求可逐条重放的场景。记忆层一旦做了摘要和抽取,就无法完整还原当时输入。财务对账类我们仍然全量落盘,只做检索加速。
  • 单次短任务。一个三步就能说完的任务,四层记忆的开销大于收益。我们定的门槛是:预期超过 6 轮交互、或预期跨会话复用,才建情景记忆。

总结

124 次压测的结论是:Agent 的记忆不是「向量库」三个字,是工作、情景、语义、程序四层各自解决各自的失效模式,再用一个混合排序把它们取出来。单独上向量库,大概率只解决了三分之一的问题,还把账单做上去了。

如果只抄一条:先把手动统计的「工具重复调用率」测出来,这个数字超过 15%,你不需要更好的模型,你需要情景记忆。

互动提问:你们的 Agent 现在有记忆层吗,还是每次进程重启就「重新做人」?重复调用率测过吗?

互动提问:你在记忆检索上踩过「相似但过期」的坑吗?最后是靠时间过滤还是重排序解决的?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-07

发表评论