一个 Agent 系统上线三个月后,技术指标通常都很好看,业务方却开始抱怨”它做的事和我想要的不一样”。我们内部一个 7 个 Agent 组成的研发流水线就是这样:代码生成 Agent、测试 Agent、评审 Agent、文档 Agent 各自都能跑,单看成功率都在 85% 以上,但端到端交付率只有 54%,而且没人说得清每个 Agent 到底花了多少预算。
这篇复盘写我们怎么把这条流水线从”能跑”改到”能管”:9 周、310 次端到端任务。结论先放这里——我们做的最有价值的三件事,没有一件是提升单个 Agent 的能力:给每个 Agent 立了可审计的任务边界、把成本归因做到了单次任务级别、以及建了一个从没人想做的”Agent 评审委员会”。改完之后的数字:端到端交付率从 54% 到 83%,单任务平均成本降 38%,而单个 Agent 的能力指标几乎没动。
一、端到端成功率不是各环节成功率的乘积,是被”交接”吃掉的
7 个 Agent 串联,如果各自 85% 独立成功率,理论端到端是 0.85^7 = 32%——我们实测 54%,其实比理论值还高,因为多数任务会跳过若干环节。但我们想弄明白的是:这 46% 的失败里,到底有多少是”某个 Agent 干砸了”,多少是”干得挺好但下一个 Agent 用不上”?
我们把 310 次失败逐条归因,结果推翻了很多直觉:
| 失败归因 | 占比 | 根因类型 | 可自动化修复? |
|---|---|---|---|
| Agent 自身能力不足(生成错、理解错) | 23.5% | 模型能力 | 只能靠换模型或加校验 |
| 交接格式不被下游解析 | 31.4% | 接口契约 | 能,立 schema 即可 |
| 交接内容不完整(该给的上下文没给) | 19.7% | 上下文传递 | 能,立上下文规范 |
| 多个 Agent 重复劳动或互相覆盖 | 17.2% | 职责边界 | 能,划清职责 |
| 权限/环境问题(工具调用失败) | 8.2% | 工程环境 | 能,治理权限 |
只有 23.5% 是”AI 不够聪明”该管的事,剩下 76.5% 全部是系统工程问题。这个分布讲清楚了一件事:多 Agent 系统的瓶颈不在 Agent,在 Agent 之间的接缝。我们后续 9 周的工作,80% 花在接缝上,几乎没碰模型。
二、给每个 Agent 立”任务边界”:用一份契约代替默契
多 Agent 系统最危险的状态,是每个 Agent 都”顺手多做一点”。我们的测试 Agent 一度自己改起了被测代码的 import,因为”那样更好跑”;文档 Agent 会顺手把评审 Agent 提的意见也写进文档,导致文档里混入了未采纳的建议。
我们最后用一份每个 Agent 一页的”任务契约”来固定边界,内容极简但强制:
- 输入输出 schema:每个 Agent 必须声明它消费什么、产出什么,用 JSON Schema 约束,不合法就拒收而不是”尽力理解”。
- 明确不做什么:每个契约里有一栏 Never,写明”本 Agent 不得修改 X/不得调用 Y”。测试 Agent 的 Never 里就有”不得修改被测文件”。
- 信任级别:分”可自动采信”(格式转换类)、”需下游校验”(内容生成类)、”必须人审”(涉权限、金额、对外发布)。信任级别决定了下游要不要花 token 去复核——这一项后面直接关联成本。
契约统一之后,”交接不被解析”这一类失败从 31.4% 降到 6.1%,而且返工从”跑完才发现”变成”入口就拦下”,省下的是整条链路的下游算力。
三、成本归因到单任务:不这样做,多 Agent 的预算是黑洞
多 Agent 系统最反直觉的一点:Agent 越多,总成本可能越接近线性甚至超线性增长,因为你无法知道哪一段在空转。我们没做归因之前,单任务平均成本是 0.83 美元;做完归因才发现,其中 44% 花在下游 Agent 对上游输出的重复校验上——评审 Agent 会把测试 Agent 写过的内容重新读一遍再判断,因为没人告诉它”这部分已经验过了”。
归因的做法不复杂,但必须做:
- 每次任务生成一个 trace_id,贯穿所有 Agent;每个 Agent 上报 token 消耗、工具调用次数、耗时,按 trace_id 聚合。
- 把”校验成本”和”生产成本”分开记账。我们按信任级别决定校验深度,可自动采信的下游只做 schema 校验(近乎零成本),内容类才做语义抽检。
这一项做完,单任务成本从 0.83 降到 0.52 美元(降 38%),而抽检质量没有下降,因为我们砍掉的本来就是”重复验同一件事”的浪费。
四、Agent 评审委员会:没人想做,但它是质量兜底
单个 Agent 迭代很快,但 7 个 Agent 的版本组合会指数级膨胀:一个 Agent 改了输出格式,可能悄悄破坏三个下游。我们最早的做法是各自跑各自的单测,结果一次上游小改动让端到端成功率掉了 11 个点,三天后才在业务投诉里发现。
后来立了一个轻量的机制:每周一次”Agent 联评”,任何 Agent 的变更必须先在联评环境跑 30 个黄金任务,全绿才允许进主线。另外立了一条硬规则:任何 Agent 的输出 schema 变更,必须提前一个版本周期通知所有下游,并保留一个版本的兼容层。
听起来很官僚,但它是我们把端到端成功率从 61%(中期一次回退后的低点)重新拉回 83% 的关键。多 Agent 系统里,局部的快速不等于全局的快速。
总结
7 个 Agent、310 次任务、9 周。端到端交付率 54% → 83%,单任务成本降 38%,而我们几乎没有提升任何单个 Agent 的能力。真正的杠杆是三件”不性感”的事:用契约固定每个 Agent 的边界(吃掉 31% 的交接失败)、把成本归因到单任务(发现 44% 的重复校验)、用联评兜住组合风险(防止局部变更破坏全局)。
如果你也在搭多 Agent 系统,我的忠告是:先别加 Agent,先把现有的接缝管起来。我们试过”再加两个 Agent 补上弱环节”,结果是失败率更高、成本更贵——接缝不会因为 Agent 变多而消失,只会因为 Agent 变多而翻倍。
互动提问:你们的多 Agent 系统里,失败主要来自 Agent 能力还是接缝?我们实测只有 23.5% 是能力问题,想知道这个比例会不会随任务类型变化。
互动提问:成本归因你们做到哪一层?我们到单任务 trace 才发现 44% 是重复校验,想了解有没有团队把”信任级别”做成了动态调整而不是静态分档。
— IMAI 编辑部 | 2026-11-12