去年我们接了一个活:帮一个跨境电商客户把客服咨询的自动应答率从 31% 提到 60% 以上。听起来是个标准的外包需求,但做到第二个月我们发现,卡住交付的不是模型不会回答,是客户自己的历史工单里有 37.3% 的记录,压根没人知道正确答案是什么。
这篇复盘写三件事:我们怎么给 8,412 个真实工单做「问题归因」、为什么 Top-k 少样本在这个场景会失效、以及最后落地的那个「置信度分级回退」系统,怎么把自动应答率做到 71.3%,同时把错误应答压到 2.1%。
一、先给工单分类:不能回答的四种原因
我们从客户 14 个月的历史工单里抽了 8,412 条做人工归因,每条标注「这条工单当初是怎么被解决的」。分类结果如下:
| 类别 | 占比 | 典型形态 | AI 能否回答 |
|---|---|---|---|
| 标准问答(政策、流程) | 46.2% | 「退货几天内有效」「关税谁承担」 | 能,但需权威来源 |
| 个性化查询(订单状态) | 24.8% | 「我的包裹到哪了」「能不能改地址」 | 能,但必须接实时数据 |
| 多步协商(承诺、例外) | 11.4% | 「能不能多送一个」「这次先这样下次注意」 | 部分能,风险最高 |
| 例外/投诉(情绪、纠纷) | 9.6% | 「等了 21 天你们是骗子吗」 | 不能,必须转人工 |
| 无解/信息缺失 | 8.0% | 用户只发了一张图,什么都不说 | 不能 |
这张表改变了我们的技术方案。客户原本的想法是「全部上 FAQ + RAG」,但第 3、4、5 类合计 29.0%,这些工单的正确答案不在他们自己的 FAQ 里。如果不分级,评测集再漂亮也没有意义,因为上线后真实混合分布里有近三成「不该自动回答」的请求。
二、Top-k 少样本为什么在这个场景会崩
我们原计划走经典路线:写 30 个 few-shot 例子,让模型学会客服语气和字段格式。第一个 demo 很惊艳,第三周灰度就崩了。原因是三类失效:
2.1 示例污染:例子里的政策已经是上季度的
我们挑了 30 个「语气很好」的例子当 few-shot,其中 11 个包含具体政策数字(如「7 天无理由」)。政策在 Q3 更新为「15 天」,模型的 few-shot 还在按 7 天回答,11 个例子全部指向旧政策,新政策在 prompt 里只有一句话,权重被 11 个示例稀释。
教训很直接:few-shot 例子不能有具体的政策性内容,只给风格、结构和边界。我们把示例改写为不含任何数字和政策的纯形式样本,政策全部从系统提示里的唯一来源注入。
2.2 格式幻觉:该拒答的时候它不拒
客服场景最怕的不是答不上来,是「自信地给一个错答案」。我们统计过 gray-set 上的错误形态:
| 错误形态 | 占错误应答比例 | 例 |
|---|---|---|
| 答非所问(套模板) | 38.1% | 用户问关税,答退货流程 |
| 政策过期 | 29.6% | 按 7 天回答,实际 15 天 |
| 擅自承诺 | 19.4% | 「我可以给您全额退款」,需审批 |
| 编造订单信息 | 12.9% | 捏造物流节点和单号 |
这里的结构性问题是:客服机器人的输出格式是「一段友好的话」,「拒答」在格式里没有合法位置。模型被优化成「无论如何给出一段友好回复」,自然学不会拒绝。
2.3 领域术语在通用语料里是稀有词
「caseback」「chargeback 回滚」「RMA 预授权」这些词在通用预训练里低频,模型倾向于按字面拆解。我们试过在 system prompt 里加术语表,有效但有限——术语表只在用户真的用了该术语时生效,用户说「我被银行那边退回来了」时,模型不知道这是 chargeback 场景。
三、落地方案:三级置信度 + 强制回退位
最终上线版本的核心,是把「拒答」变成格式的合法输出,而不是异常分支。我们把每次回答拆成必有字段:
{
"answer": "string | null",
"sources": ["policy_id", ...],
"confidence": "high | medium | low",
"escalate": bool,
"escalate_reason": "policy_gap | emotional | multi_step | out_of_scope"
}
规则非常简单且严格执行:
answer为 null 时,escalate必须为 true,且必须有escalate_reason;confidence=low或escalate=true时,不得输出具体承诺性语句(「我们保证」「一定」);- 带政策数字的回答必须附
policy_id,无来源的政策内容一律视为confidence=low。
关键设计:我们不让模型自己输出 confidence。置信度由外部判定,输入有三个信号:来源是否存在且匹配、答案是否包含未在来源中出现的数字、用户情绪分是否越界。模型越是想拒答,我们越不让他自己判断自己该不该拒答——把「敢不敢答」的决定权从生成模型手里拿走,交给确定性的规则层。
四、三个场景的实测对比
| 方案 | 标准问答准确率 | 每日自动应答率 | 错误应答率 | 转人工率 |
|---|---|---|---|---|
| Few-shot 基线(30 例) | 61.4% | 53.8% | 8.7% | 46.2% |
| + 政策唯一来源注入 | 74.9% | 58.3% | 5.1% | 41.7% |
| + 强制拒答位 + 外部置信度 | 78.2% | 69.4% | 2.6% | 30.6% |
| + 多步协商拆分为人工优先 | 80.1% | 71.3% | 2.1% | 28.7% |
有意思的是最后一行:自动应答率从 69.4% 只涨了 1.9 个百分点,但错误应答率从 2.6% 降到 2.1%。代价是「多步协商」类(占比 11.4%)被整体划为人工优先,本来我们以为这会大幅拉低自动化率,实际只掉了极少。结论是:这类工单的自动化收益本来就被高估了,它们本来就该转人工。
五、如果重来,我会更早做的三件事
- 第 1 周就建评测集,而不是第 4 周。我们第 4 周才建,导致前三周都在用「我觉得回答得挺好的」做决策。评测集只要能覆盖四类工单分布、每类 200 条就够,一天能建完。
- 把政策和示例解耦,第一条就写进工程规范。政策必须从单一来源(数据库)注入,示例里永远不出现政策数字。这一条能省掉一次线上事故。
- 拒绝相信模型的自我评估。任何「让模型自己判断要不要转人工」的方案,在这个场景都会失败,因为客服的优化目标就是「给出友好回复」。要转人工,就得由规则层拍。
总结
8,412 个真实工单、四个月迭代、最终 71.3% 自动应答率和 2.1% 错误率。最大的经验就一条:在错误代价很高的场景里,「正确地拒绝」比「聪明地回答」更有价值,而正确的拒绝必须由规则层来执行,不能由生成模型自己决定。
互动提问:你们的客服 AI 是怎么处理「它不确定」的?是让模型自己说我不知道,还是有外部规则兜底?
互动提问:你有没有统计过自家工单里「多步协商」类的占比?我们是被那个 11.4% 吓了一跳才改了架构。
— IMAI 编辑部 | 2026-11-08