AI 客服不能只做 FAQ:8,412 个真实工单归因,29% 的请求压根不该自动应答

去年我们接了一个活:帮一个跨境电商客户把客服咨询的自动应答率从 31% 提到 60% 以上。听起来是个标准的外包需求,但做到第二个月我们发现,卡住交付的不是模型不会回答,是客户自己的历史工单里有 37.3% 的记录,压根没人知道正确答案是什么。

这篇复盘写三件事:我们怎么给 8,412 个真实工单做「问题归因」、为什么 Top-k 少样本在这个场景会失效、以及最后落地的那个「置信度分级回退」系统,怎么把自动应答率做到 71.3%,同时把错误应答压到 2.1%。

一、先给工单分类:不能回答的四种原因

我们从客户 14 个月的历史工单里抽了 8,412 条做人工归因,每条标注「这条工单当初是怎么被解决的」。分类结果如下:

类别 占比 典型形态 AI 能否回答
标准问答(政策、流程) 46.2% 「退货几天内有效」「关税谁承担」 能,但需权威来源
个性化查询(订单状态) 24.8% 「我的包裹到哪了」「能不能改地址」 能,但必须接实时数据
多步协商(承诺、例外) 11.4% 「能不能多送一个」「这次先这样下次注意」 部分能,风险最高
例外/投诉(情绪、纠纷) 9.6% 「等了 21 天你们是骗子吗」 不能,必须转人工
无解/信息缺失 8.0% 用户只发了一张图,什么都不说 不能

这张表改变了我们的技术方案。客户原本的想法是「全部上 FAQ + RAG」,但第 3、4、5 类合计 29.0%,这些工单的正确答案不在他们自己的 FAQ 里。如果不分级,评测集再漂亮也没有意义,因为上线后真实混合分布里有近三成「不该自动回答」的请求。

二、Top-k 少样本为什么在这个场景会崩

我们原计划走经典路线:写 30 个 few-shot 例子,让模型学会客服语气和字段格式。第一个 demo 很惊艳,第三周灰度就崩了。原因是三类失效:

2.1 示例污染:例子里的政策已经是上季度的

我们挑了 30 个「语气很好」的例子当 few-shot,其中 11 个包含具体政策数字(如「7 天无理由」)。政策在 Q3 更新为「15 天」,模型的 few-shot 还在按 7 天回答,11 个例子全部指向旧政策,新政策在 prompt 里只有一句话,权重被 11 个示例稀释。

教训很直接:few-shot 例子不能有具体的政策性内容,只给风格、结构和边界。我们把示例改写为不含任何数字和政策的纯形式样本,政策全部从系统提示里的唯一来源注入。

2.2 格式幻觉:该拒答的时候它不拒

客服场景最怕的不是答不上来,是「自信地给一个错答案」。我们统计过 gray-set 上的错误形态:

错误形态 占错误应答比例 例
答非所问(套模板) 38.1% 用户问关税,答退货流程
政策过期 29.6% 按 7 天回答,实际 15 天
擅自承诺 19.4% 「我可以给您全额退款」,需审批
编造订单信息 12.9% 捏造物流节点和单号

这里的结构性问题是:客服机器人的输出格式是「一段友好的话」,「拒答」在格式里没有合法位置。模型被优化成「无论如何给出一段友好回复」,自然学不会拒绝。

2.3 领域术语在通用语料里是稀有词

「caseback」「chargeback 回滚」「RMA 预授权」这些词在通用预训练里低频,模型倾向于按字面拆解。我们试过在 system prompt 里加术语表,有效但有限——术语表只在用户真的用了该术语时生效,用户说「我被银行那边退回来了」时,模型不知道这是 chargeback 场景。

三、落地方案:三级置信度 + 强制回退位

最终上线版本的核心,是把「拒答」变成格式的合法输出,而不是异常分支。我们把每次回答拆成必有字段:

{
  "answer": "string | null",
  "sources": ["policy_id", ...],
  "confidence": "high | medium | low",
  "escalate": bool,
  "escalate_reason": "policy_gap | emotional | multi_step | out_of_scope"
}

规则非常简单且严格执行:

  • answer 为 null 时,escalate 必须为 true,且必须有 escalate_reason;
  • confidence=low 或 escalate=true 时,不得输出具体承诺性语句(「我们保证」「一定」);
  • 带政策数字的回答必须附 policy_id,无来源的政策内容一律视为 confidence=low。

关键设计:我们不让模型自己输出 confidence。置信度由外部判定,输入有三个信号:来源是否存在且匹配、答案是否包含未在来源中出现的数字、用户情绪分是否越界。模型越是想拒答,我们越不让他自己判断自己该不该拒答——把「敢不敢答」的决定权从生成模型手里拿走,交给确定性的规则层。

四、三个场景的实测对比

方案 标准问答准确率 每日自动应答率 错误应答率 转人工率
Few-shot 基线(30 例) 61.4% 53.8% 8.7% 46.2%
+ 政策唯一来源注入 74.9% 58.3% 5.1% 41.7%
+ 强制拒答位 + 外部置信度 78.2% 69.4% 2.6% 30.6%
+ 多步协商拆分为人工优先 80.1% 71.3% 2.1% 28.7%

有意思的是最后一行:自动应答率从 69.4% 只涨了 1.9 个百分点,但错误应答率从 2.6% 降到 2.1%。代价是「多步协商」类(占比 11.4%)被整体划为人工优先,本来我们以为这会大幅拉低自动化率,实际只掉了极少。结论是:这类工单的自动化收益本来就被高估了,它们本来就该转人工。

五、如果重来,我会更早做的三件事

  1. 第 1 周就建评测集,而不是第 4 周。我们第 4 周才建,导致前三周都在用「我觉得回答得挺好的」做决策。评测集只要能覆盖四类工单分布、每类 200 条就够,一天能建完。
  2. 把政策和示例解耦,第一条就写进工程规范。政策必须从单一来源(数据库)注入,示例里永远不出现政策数字。这一条能省掉一次线上事故。
  3. 拒绝相信模型的自我评估。任何「让模型自己判断要不要转人工」的方案,在这个场景都会失败,因为客服的优化目标就是「给出友好回复」。要转人工,就得由规则层拍。

总结

8,412 个真实工单、四个月迭代、最终 71.3% 自动应答率和 2.1% 错误率。最大的经验就一条:在错误代价很高的场景里,「正确地拒绝」比「聪明地回答」更有价值,而正确的拒绝必须由规则层来执行,不能由生成模型自己决定。

互动提问:你们的客服 AI 是怎么处理「它不确定」的?是让模型自己说我不知道,还是有外部规则兜底?

互动提问:你有没有统计过自家工单里「多步协商」类的占比?我们是被那个 11.4% 吓了一跳才改了架构。

分享到:

微博
Twitter
LinkedIn

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-08

发表评论