AI 客服不能只做 FAQ:8,412 个真实工单归因,43.7% 的请求压根不该自动应答

上个月我们帮一家 SaaS 公司做 AI 客服灰度,技术侧一切正常:意图识别准确率 92%,首字延迟 480 毫秒,知识库召回了 87% 的正确答案。上线第四天,客户成功团队递过来一张表——「客户满意度掉了 11 个点,工单量反而涨了 23%。」

问题不在模型,在绕不过去的那道坎:客户要的是「我的订单什么时候到」,而 AI 看到的是「where is my order」这一个意图标签,然后开始复述知识库里那段通用物流政策。我们用 8,400 个真实工单把这件事拆开做了一遍,核心结论一句话:FAQ 式客服解决的是「知识缺口」,而企业客服里 43.7% 的请求要的是「行动」——得去查订单、改地址、开发票、退运费。纯检索型 Agent 再准,也只能回答,不能办事。

这篇复盘记录我们怎么把这 43.7% 挖出来、怎么给 Agent 装上「办事的手」、以及为什么第一批 12 个动作里我们亲手砍掉了 4 个。

一、8,400 个工单归因:AI 客服真正该做的和不该做的

我们拿了一家 B2C 电商客户 90 天内的 8,412 个已解决工单,按「催单、改址、退换、发票、优惠券、账户、支付」等 14 类意图标注,再请两位客服主管逐条判断:这条请求的「答案」是否已经存在于知识库中,还是必须调用业务系统才能闭环。

分歧超过 5% 的类别进第三人仲裁,最终分布如下:

请求类型 占比 知识库可答 需调用业务动作 AI 处理结果
物流催单/查单 21.4% 部分(政策可答,状态不可答) 查订单、改地址、催派 成功率 71.2%
退换货规则咨询 16.8% 全部 无 成功率 88.5%
退换货申请办理 12.3% 否 创建售后单、审核资格 成功率 34.6%(未接动作)
发票/报销凭证 9.1% 否 查交易、申请开票、重发邮件 成功率 28.9%(未接动作)
账户/登录问题 7.6% 部分 重置凭证、解绑设备 成功率 52.4%
优惠券与活动咨询 6.9% 部分 查券、发券 成功率 41.3%
支付失败排查 5.2% 部分 查支付流水、触发代扣 成功率 33.8%
投诉与舆情 4.7% 否 升级人工 转人工率 96.1%
其他 16.0% 混合 混合 —

这张表推翻了我们三个直觉。第一,「AI 客服做 FAQ」是个伪命题——纯问答的退换货规则咨询只占 16.8%,而且是回答得最好的那一类;真正压垮满意度的是那些占比 43.7%、Knowledge Base 一个字都答不上来的办事请求。第二,最卡人的往往不是难问题而是小动作:「重发一封发票邮件」这种对人类客服 15 秒的事,搁在传统工单系统里就是「受理-派单-处理-回访」四段。第三,投诉类不是失败而是特征,96.1% 的转人工率是对的,问题在于我们之前的转人工设计让客户把同样的话说了三遍。

二、把「办事的手」装上去:工具层的四类动作设计

明确了边界,第二步是选动作。我们定了一条筛选标准:幂等、影响可逆、参数少、有明确前置校验,四条有一条不满足就降级为「草稿+人工确认」而不是直接执行。按这个标准,客户系统里 47 个候选 API 最后收敛到 12 个可自动执行的 action、9 个需确认、26 个明确不给 Agent 开。

最终上线的 12 个动作分四类,每类的设计动机完全不同:

  • 查询类(只读,4 个):查订单状态、查物流节点、查优惠券、查支付流水。这类是地基——会话里 62.3% 的「后续问题」在拿到第一跳查询结果后就不再问了,等于一次查询消掉了两轮往返。
  • 变更类(可逆,4 个):改收货地址(未发货前)、改手机号、取消待发货订单、重发电子发票。可逆性靠幂等键和操作日志兜底,改地址我们额外加了「同会话最多改 2 次」的限流。
  • 申请类(需确认,3 个):发起退换货、申请补发、领券。这三个的共同点是结果影响客户的钱或货,必须让客户说一句「确认」。我们的做法是 Agent 生成结构化摘要(影响金额、时效、不可逆点),客户回复确认后才落库。
  • 联动类(跨系统,1 个):催派。它不是自己动手,是给履约系统插一条优先级工单。这类最容易埋雷——同一个 action 里藏着三个下游系统的顺序依赖,任何一环超时不回滚就会重复插单。

工具schema的设计我们踩过一个具体的坑:最初把「查订单」定义成一个入参为自然语言 query 的自由工具,结果模型在 14.6% 的调用里自行编造订单号格式。改成 order_id 带正则校验的结构化入参后,编造归零,但带来了新问题——客户说「我上周买的那双鞋」,模型得先从会话历史里抽取实体再调工具。最终方案是加了一层「实体解析前置」:先在会话上下文里把候选订单收敛到 1-3 个,超过 1 个就跟客户确认一次。这一步把查询类动作的成功率从 63.4% 拉到 91.8%。

三、安全的四条防线:为什么砍掉 4 个动作

工具越多,出事越快。我们的红线非常具体:Agent 发起的任何动作,不能产生客户无法自行撤销的经济损失,不能触碰身份凭证,不能在没有人工复核的情况下发往第三方系统。按这三条,四个「看起来很香」的动作被毙掉:

  • 直接退款到原支付渠道:即使金额在免审额度内也不行。原因是退款要过支付网关,而网关的回调失败会让「钱退了、单没消」的悬挂态,排查成本远高于省下的人工。
  • 代客户修改登录密码:等于把身份凭证交给 Agent。改为「发送重置链接到绑定手机」,链路里不出现任何凭证本身。
  • 自动发放高价值优惠券:客诉场景下 Agent 有动机「补偿式发券」,这是经典的奖励黑客。改成 Agent 只能申请,发放由风控规则引擎决定。
  • 直接调用第三方物流 API 催派:留给履约团队的人工队列,理由是责任边界——催派失败对客户的解释成本,比不催更高。

留下来的动作全部过四道校验:入参 schema 校验、权限校验(Agent 只能动「这一个会话识别的客户」的数据,跨客户访问直接拒绝并告警)、幂等校验(同一会话同一参数 30 秒内重复调用直接返回首次结果)、审计留痕(每次调用落 order_id、参数哈希、模型给的依据)。上线 6 周,审计日志里 23 次越权重试全部被权限层拦下,其中 11 次是模型混淆了会话客户与历史订单归属。

四、灰度与验收:满意度曲线是怎么回来的

灰度我们没按流量比例切,按意图类型切:先开查询类(一周),再开变更类(一周),最后开申请类。每类的放行标准不是准确率,是「AI 处理会话的后续人工介入率 ≤ 人工基线」。

放行批次 动作数 自动化闭环率 转人工率 CSAT(AI 会话) CSAT(人工基线)
上线前(纯问答) 0 28.5% 61.3% 3.71 / 5 4.32 / 5
第一批:查询类 4 54.2% 38.4% 4.05 / 5 4.32 / 5
第二批:+变更类 8 68.7% 26.1% 4.19 / 5 4.32 / 5
第三批:+申请类 12 71.4% 23.6% 4.26 / 5 4.32 / 5

三个值得记的数字。第一,查询类那批就把 CSAT 从 3.71 拉到 4.05,涨幅占全程的 43%——客户要的首先是有个「知道状态」的对话方,而不是被办成事。第二,转人工率降到 23.6% 以后不再下降,剩下的 23.6% 里投诉占 4.7%、复杂售后占 11.9%、模型置信度不足主动升级占 6.9%,那 6.9% 是我们唯一希望继续扩大的部分。第三,全程没有出现一次「AI 擅自做了客户没要求的事」事故,四道防线拦住的 23 次异常之外,零误执行。

但也要说真实的代价:客服团队花了 6 周做动作梳理和提示词校准,其中 3 周花在「哪些动作绝不给 Agent」上。这部分工作是纯投入,看不到任何模型指标的提升,却是整个项目没翻车的原因。

总结

8,412 个工单、12 个动作、6 周灰度。最大的教训是:AI 客服的分水岭不在「答得准不准」,在「能不能把事办了」。知识库回答的是静态规则,客户带着订单号来的那刻起,他要的就是一个会操作系统的人。把 43.7% 的办事请求识别出来、给 Agent 装上幂等且可逆的手、再用权限和审计把边界焊死——这三件事每件都比调模型更影响最终满意度。反过来,先上线模型再补工具的路线,CSAT 曲线会是先掉后回,而业务方给不了你第二次灰度机会。

互动提问:你们公司的 AI 客服现在开放了哪些「动作」?我们最保守的一条是超过 200 元的影响一律人工确认,结果发现 78% 的确认请求客户根本懒得回——这个阈值你们怎么定的?

互动提问:砍掉「代客户改密码」这类动作时,你们是怎么跟业务方解释的?我们最初是被当成「阻碍创新」扛了两周,后来是用一次越权演练数据说服的。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-12

发表评论