客服是 AI 落地最热闹的赛道，也是退订率最高的赛道。我们见过不止一个团队把 Chatbot 挂上官网，三个月后静默下线，原因出奇一致：机器人回答不了”我上周买的那个东西”，用户问三轮就跳脚，最后连人工入口都找不到。
这次我们测的是文本工单场景：用 62 个真实复购工单和 71 个真实退换货工单，横评上下文工程路线（RAG + 订单 API + 流程编排）与业界常提的 Agent 自主路线，对比指标只有两个：用户是否还需要人工介入（升级率），以及被请求人工后处理是否及时。工具侧测了自建 RAG 管线、Zendesk AI、Intercom Fin 和一套开源 GPT-4o 编排。
一、工单场景和聊天不一样在哪
先纠正一个普遍的错配：拿 FAQ 机器人的指标套工单场景，是大多数项目失败的起点。工单客服有三个 FAQ 没有的特征：
- 强状态依赖。“订单到哪了”必须查实时订单系统，模型里没有这个信息，编不出来。
- 权限敏感。换货、退款涉及账号安全，不能只凭一句话就执行。
- 情绪升级快。用户是带着”我没收到货”的怒气来的，前两轮没解决，第三轮就是差评。
所以我们的评测只看一个北极星指标：一次解决率（不升级人工即闭环）。所有花活——话术漂不漂亮、响应快不快——都让步于这一个数。
二、133 个工单的成绩单
| 指标 | 自建 RAG 管线 | Zendesk AI | Intercom Fin | 开源编排 Agent |
|---|---|---|---|---|
| 复购咨询一次解决率 | 74.6% | 71.0% | 79.4% | 66.2% |
| 退换货一次解决率 | 58.1% | 55.7% | 63.5% | 48.3% |
| 升级人工率（越低越好） | 28.4% | 32.1% | 24.6% | 39.8% |
| 错误执行动作（退错款/改错单） | 3 次/千 | 2 次/千 | 2 次/千 | 19 次/千 |
| 平均响应时间 | 2.4s | 1.8s | 2.1s | 4.6s |
| 幻觉回答率（编造订单/政策） | 4.2% | 3.1% | 3.6% | 12.7% |
四个结论，每一个都能对上我们见过的失败案例：
1. 复购和退换货是两个难度世界。所有方案在”这款有 XL 吗”这类咨询上都能到 70%+，但一进退换货——要查订单、要判断是否过售后期、要给方案——开源编排直接从 66.2% 跌到 48.3%。它的瓶颈不是模型笨，是没有把”查订单”做成可靠的工具调用。自建 RAG 之所以在退换货上还能守住 58.1%，是因为我们把订单查询、政策判定都写成了确定性函数，Agent 只负责”决定调哪个”。
2. 错误执行动作是唯一不能妥协的指标。开源编排 19 次/千的错误执行是什么概念：一千个工单里，有 19 个被退了不该退的款、改了不该改的地址。一次错误执行的客诉和赔偿成本，能吃掉一百次自助解决省下的人力。这也是我们最终没上自主 Agent 路线的原因——不是它不能做，是它做错的时候我们兜不住。
3. Intercom Fin 的升级率最低，但代价在定价。24.6% 升级率确实最好，但它按”解决次数”计费，我们的复购类问题多、单价低，跑了一个月财务说比 Zendesk 贵 40%。选型时不能只看一次解决率，要算”每个成功解决的边际成本”。复购咨询占比高的业务，Zendesk AI + 自建 RAG 的组合更划算。
4. 响应速度用户其实不敏感，等待透明度才敏感。2.4s 和 1.8s 的差别用户在盲测里根本分不出来，但”正在为您查询订单”这种中间态提示，让放弃率降了三成。慢 1 秒不怕，怕的是 4 秒没动静，用户以为它死了。
三、我们的最终架构：确定性优先，Agent 只做路由
现在线上跑的组合是：Zendesk AI 做一线接待 + 自建 RAG 做政策知识 + 确定性函数处理订单动作。具体分层：
- 意图层用分类器，不用大模型。“查物流 / 要退货 / 问尺码 / 找人工”四类，一个轻量分类模型准确率 97%，比让 GPT 每次猜意图便宜且稳。
- 动作层全部写成无 LLM 的函数。查订单、校验售后期、生成退货标签，都是纯代码。LLM 只输出”该调用哪个函数、参数是什么”，不直接执行。
- 话术层交给模型，但要套模板。同一个查询结果，模型只负责把”您的订单 2026**** 已于 10 月 25 日到达杭州中转场”说得更自然，数字从函数来，不许它组织数字。
- 升级人工的按钮永远在第三轮以内出现。这是红线：不管机器人多自信，用户问了三次没解决，必须能一键找到人。我们因为这个改动把 NPS 拉回了 12 分。
一个反直觉的发现：把”我不确定”做成显式选项，一次解决率反而涨了。加了置信度门控——低于阈值就明说”这个我需要转人工确认”——升级率短期从 24% 升到 31%，但两个月后总升级率回落到 22%，因为用户信任度上来了，愿意把问题一次说清。硬撐着的机器人流失用户，坦诚的机器人留住用户。
四、成本与收益：一个真实的账
以我们月均 8000 工单的量算：
- 纯人工：3 名客服轮班，月成本约 4.5 万，一次解决率约 92%（人能处理边界情况）。
- AI + 人工：机器人接住 76% 的复购咨询，1.5 名人力聚焦复杂工单，月成本约 2.8 万，综合一次解决率 84%。
- 省下的不只是钱：响应时间从平均 4 分钟降到秒级，夜间工单不再积压到第二天——这部分带来的差评下降，比省钱更直接影响复购。
但要诚实说一句：剩下那 8 个百分点的差距，是复杂边界情况，短期补不齐。用户带着截图来问”这个零件是不是坏的”，还是要人看。把目标定成”100% 无人化”的项目，最后都会失败；定成”接住 76% 的标准问题、让人处理 24% 的特殊问题”，才能落地。
总结
133 个工单测下来的结论：文本工单客服已经能接住大部分标准咨询，但”自主执行动作”还没到时候。退换货场景下，确定性函数编排比 Agent 自主决策高出 10 个百分点的一次解决率，且错误执行率低一个数量级。
真正的经验只有一句：让模型说话，让代码办事。话术可以灵活，动作必须确定。这个边界划清楚，AI 客服才是降本工具；划不清，它就是一台高效犯错机器。
最后一个判断：按解决次数计费的模式会在一两年内倒逼厂商提升准确率，因为那是他们自己的成本。届时一次解决率的行业水位会被重新定义，现在选型时把架构做成可替换的工具路由层，比押注某一家更明智。
互动提问：你们的客服机器人现在一次解决率是多少？有没有统计过”用户问了三轮就放弃”的比例？
互动提问：如果机器人某次退错了款，你们流程上是机器人自己回滚，还是必须人工审核兜底？
— IMAI 编辑部 | 2026-10-28