上个月我们接进一个外部 Agent 做「自动找上游报价」的活。它跑得很顺,日均调用 3000 多次,直到有一天财务发现某供应商的报价单被重复下载了 40 遍——不是它想偷,是它每次都觉得「上次拿的那份可能过期了,我再确认一下」。
这不是个例。我们把内部三个团队半年里上线的 8 个 Agent 拉出来复盘,统计了 124 次真实压测,得到一个不太舒服的结论:Agent 在真实环境里的失败,70% 不是「不会做」,是「不记得自己做过了」。工具调用重复、上下文重算、同一份数据拉八次,这些浪费掉的算力和延迟,比模型本身贵得多。这篇把我们踩过的坑和最终落地的四层记忆方案写清楚。
一、先分清三种「忘」,它们是不同病
复盘时我们把所有「记忆失效」的案例归成三类,治疗方式完全不同:
| 类型 | 典型表现 | 占比 | 根因 |
|---|---|---|---|
| 会话内失忆 | 同一个任务里反复问同一个问题 | 41.2% | 历史被截断,没有关键结论沉淀 |
| 跨会话失忆 | 昨天查过的今天再查一遍 | 33.9% | 没有持久化层,进程重启即清零 |
| 跨 Agent 失忆 | A 拿到的数据 B 完全不知道 | 24.9% | 没有共享记忆总线,各自为政 |
最容易被忽略的是第三类。我们的报价 Agent 和数据清洗 Agent 曾经各跑各的,一份 300MB 的原始数据被下载、清洗、入库了三遍。后来做统一记忆层,这一项直接省掉了每天 47 分钟的机器时间。
二、四层记忆架构,每层只解决一个问题
我们最终稳定下来的架构是四层,不要混用:
- 工作记忆(Working Memory)。就是上下文窗口本身,只放当前任务必需的东西。硬约束:不超过窗口的 60%,剩下的留给推理和输出。我们的做法是给每轮对话算一次「信息密度」,密度低了就触发压缩。
- 情景记忆(Episodic Memory)。「我做过什么、结果如何」。每次工具调用后写一条结构化记录:输入指纹、输出摘要、是否成功、耗时。这一层是治「重复调用」的,Agent 动手前先查指纹。
- 语义记忆(Semantic Memory)。「我知道什么」。从情景记忆里用模型抽取出来的稳定事实,比如「供应商 A 的报价每周一更新」。这一层是治「跨会话失忆」的,也是检索增强的语料来源。
- 程序记忆(Procedural Memory)。「我会怎么做」。把反复成功的工具调用序列固化成可复用流程,类似 LangChain 的 Tool 或 MCP 的 Resource。这一层是治「每次重新 planning」的。
这四层的读写延迟和成本差一个数量级,所以必须分层:工作记忆毫秒级但最贵,情景记忆秒级,语义记忆百毫秒级,程序记忆基本免费。顺序反了就是灾难——把工作记忆当数据库用,账单会先炸。
三、124 次压测出来的四个关键数据
拿 8 个内部 Agent、124 次端到端压测(每次 50 个真实任务)做的 A/B:
| 指标 | 无记忆层 | 四层记忆 | 变化 |
|---|---|---|---|
| 工具重复调用率 | 31.7% | 4.3% | -86.4% |
| 任务平均 token 消耗 | 18,400 | 7,900 | -57.1% |
| 跨会话任务成功率 | 61.2% | 83.6% | +22.4pp |
| P95 端到端延迟 | 47.3s | 19.8s | -58.1% |
| 存储成本(月) | $0 | $23 | +$23 |
第四行值得单独说:延迟降了近六成,一半功劳来自情景记忆挡住了重复调用,另一半来自语义记忆让模型不再「从零推理」。但注意最后一行——记忆不是免费的,一个月 23 美元的存储和检索开销,是我们 8 个 Agent 共享一套基础换来的。如果只为一个 Agent 建记忆层,经济性要重算。
还要说一个反直觉的发现:语义记忆抽取得太勤会掉点。我们试过每轮对话都抽事实,结果语义库里堆了大量「这次任务正在处理 X」的临时状态,检索时反而把噪音排到前面。改成只在任务结束、且置信度高于阈值时才写入,语义记忆的检索命中率从 58.1% 涨到 81.7%。
四、检索策略:不要什么都塞给模型
有了记忆层,下一个问题是「取哪几条」。我们对比过四种策略:
- 全量塞入:超过 8 条就开始稀释注意力,任务成功率下降明显,pass。
- 最近优先:对连续性任务好,但对「三天前的某个结论」完全失效。
- 余弦相似度 top-k:通用,但我们遇到过一个坑——查询「最近的报价」会把三个月前的报价匹配上,因为语义太像。相似度解决不了时效性。
- 混合排序(相似度 0.6 + 新近度 0.25 + 任务类型匹配 0.15):最终选的这个。新近度权重专门治「最近优先」的另一端,任务类型匹配防止把数据清洗的记忆喂给报价 Agent。
混合排序上线后,「取到过期记忆导致任务失败」的案例从 11 次/千任务降到 1.4 次/千任务。这是我觉得最值得抄的一条:记忆检索的排序权重,比记忆存在哪更重要。
五、什么时候不要上记忆层
也要泼冷水,两种场景我们明确不上:
- 强合规、要求可逐条重放的场景。记忆层一旦做了摘要和抽取,就无法完整还原当时输入。财务对账类我们仍然全量落盘,只做检索加速。
- 单次短任务。一个三步就能说完的任务,四层记忆的开销大于收益。我们定的门槛是:预期超过 6 轮交互、或预期跨会话复用,才建情景记忆。
总结
124 次压测的结论是:Agent 的记忆不是「向量库」三个字,是工作、情景、语义、程序四层各自解决各自的失效模式,再用一个混合排序把它们取出来。单独上向量库,大概率只解决了三分之一的问题,还把账单做上去了。
如果只抄一条:先把手动统计的「工具重复调用率」测出来,这个数字超过 15%,你不需要更好的模型,你需要情景记忆。
互动提问:你们的 Agent 现在有记忆层吗,还是每次进程重启就「重新做人」?重复调用率测过吗?
互动提问:你在记忆检索上踩过「相似但过期」的坑吗?最后是靠时间过滤还是重排序解决的?
— IMAI 编辑部 | 2026-11-07