去年客服系统上线语音客服机器人后,我们的自动解决率大概在 40% 左右徘徊——听上去不算差,但一线投诉集中在三件事:用户话没说完就被打断、用户说方言时它答非所问、以及用户不自觉地对着机器人说”行行行好好好”就挂了。
换了 Vapi 2.x 之后,我们把整条链路的每一个环节都拆开量了一遍,再对 Retell AI、Bland AI 和 ElevenLabs Conversational 做了同样条件的对照。结论不是”哪个平台更强”,而是:决定语音客服体验的不是 ASR 准确率,而是你在哪一个环节愿意花人工干预。
这篇文章给出 120 通外呼与 180 通呼入的实测数据,以及一个我们事后才想清楚的选型顺序——它和我们最初按”平台强不强”排的权重表几乎完全相反。
一、实验设计:把接通到挂断拆成七个环节
样本为同一零售业务场景下的 120 通真实外呼与 180 通真实呼入,不区分工具之前先用统一评分卡打分:
- 接通噪声(30):嘈杂环境通话,考察 ASR 抗噪。
- 意图识别(40):含口语化、犹豫、纠正(”我想改一下,不是这个,是那个”)。
- 知识问答(40):从企业 FAQ 抽 40 个标准问题。
- 转人工流畅度(10):用户主动说”转人工”。
每个环节都有明确的通过判定,不接受”整体打分”——用户投诉的从来不是”整体”,是某一个瞬间。
这里必须强调一个方法论:如果你只统计”端到端满意度”,你永远不知道该修什么。同一通电话里 ASR 可能是 99 分、意图识别可能是 40 分,端到端只给你一个 55。我们把每个环节单独量,才发现问题根本不在 ASR。
二、数据:差距不在听得清,而在”知道什么时候该安静”
| 指标 | Vapi 2.5 | Retell AI | Bland AI | ElevenLabs 插件 |
|---|---|---|---|---|
| ASR 字准确率(安静) | 98.5% | 98.7% | 97.8% | 97.2% |
| ASR 字准确率(嘈杂) | 86.4% | 87.1% | 91.5% | 84.9% |
| 语义完整识别率 | 96.3% | 95.1% | 90.2% | 91.4% |
| 被误打断率 | 7.1% | 8.9% | 6.3% | 5.7% |
| 意图一次达成率 | 93.2% | 90.7% | 84.1% | 86.3% |
| 热词领域术语准确率 | 91.8% | 89.2% | 79.6% | 82.4% |
| 转人工触发成功率 | 96.7% | 93.3% | 86.7% | 90.0% |
五个反直觉发现:
1. 安静环境下大家都能到 98% 以上,实际差别在噪声和术语。Bland 用自己优化过的噪声处理模块在嘈杂场景反杀到 91.5%,但它在”产品 SKU + 复姓人名”这类领域术语上掉到 79.6%——它的泛化很棒,业务词很差。这对一个 SKU 上千的零售业务是致命的。
2. “打断率”不是越低越好。ElevenLabs 插件的打断率最低(5.7%),但我们在样本里听到大量”用户说完三秒后才有反应”的迟滞案例。能打断和不能打断一样是体验灾难,关键是打断策略是否可配,以及你对沉默的容忍阈值调在哪一档。
3. 语义完整识别率和字准确率是两件事。99% 的字准确率完全可能得到 90% 的语义完整率:ASR 把”退货”听对了,对话管理没识别出这是退货意图。多数团队的优化都做在了 ASR 层,包括我们自己一开始也是。
4. 转人工成功率是最容易被忽略的硬指标。它听上去简单,实际要求机器人识别意图模糊、用户情绪烦躁、并执行转接。Vapi 96.7%,Bland 86.7%——十分之一说”转人工”的用户没转过去,这十个投诉里会有四个打 12345。
5. 热词不注入时,用户报完商品名会明显迟疑。这不是任何基准指标能体现的,但转化率上看得出来——术语准确率从 79.6% 拉到 91.8% 后,同类工单的挂断重拨率降了 4 成。
三、选型的决策顺序不是先看平台
我们把六个维度的权重按业务真实影响排了序,得出一张和我们原先完全不同的表:
| 维度 | 权重 | 各家表现 |
|---|---|---|
| 转人工 / 中断策略可配 | 25% | Vapi > Bland ≈ Retell > ElevenLabs |
| 热词与业务术语注入 | 20% | Vapi 2.5 > Retell > Bland > ElevenLabs |
| 噪声与方言鲁棒 | 15% | Bland > Retell > Vapi > ElevenLabs |
| 端到端延迟 | 15% | 各家差距在 300ms 量级,用户感知不明显 |
| 工作流编排(可编程) | 15% | Vapi > Retell ≈ Bland > ElevenLabs |
| 价格 | 10% | 按量计价,噪声场景越贵 |
结论:如果你的业务是强知识型转人工(金融、政务),权重 25% + 15% 直接决定选 Vapi 或 Retell;如果你的话务环境就是嘈杂(物流、外卖),Bland 的噪声鲁棒值得为它牺牲一部分术语准确率。不存在”最好”的那个,只有和你话务分布匹配的那个。
还有一点关于延迟:300ms 的差距用户其实听不出来,但它会改变打断策略的可用性。延迟高的方案必须配更宽的静音阈值,用户会感觉”我说完它不接话”。所以延迟不是独立维度,它是打断策略的一个约束条件——你在对比两个平台时,要把延迟和打断阈值绑在一起看。
四、上线后真正稳住体验的四件事
- 优先注入热词,而不是换 ASR。把 SKU、地名、人名灌进各家提供的自定义词表,术语准确率平均能拉回 8–12 个百分点,成本远低于换 ASR。这是我们从这次实验里学到最实在的一招。
- 把”转人工”提升为一级意图。不要让它混在其他业务意图里被判定,它必须是任何时刻的 exit path,且检测阈值要调低——漏一个比多触发三个更贵。
- 情绪烦躁规则前置。用户连续两次说”不对”、语速显著加快、出现含噪叹气,直接进人工队列。这条规则救回的满意度比自己调模型多。
- 录音抽检里只听前 60 秒。超过 80% 的失败都能在前 60 秒判别出来,前 60 秒不再是礼貌寒暄而是接管判断。
总结
120 通外呼加 180 通呼入给出的答案:语音客服机器人已经不是一个”模型选型”问题,是一个”工程治理”问题。ASR 字准确率的差距在安静环境下小到听不出来,真正拉开体验的是转人工能力、热词注入和情绪判断这三件需要人工设计的事。
我们最后的策略是 Vapi 2.5 承载主流程,保留 Bland 作嘈杂环境备选。选型按你的话务噪声分布决定,而不是按平台流行度决定。用户的感受只会在具体某一个瞬间形成,那个瞬间就是你的选型依据。
给还在选型的团队一个提醒:不要用”演示效果好”做决策。演示里的问题都是精心挑过的,真实的方言、犹豫、抢话全都不在 demo 里。用你自己的真实录音做一次盲测,比看十个横评视频都管用。
互动提问:你的语音客服有没有统计过”用户说转人工却没转过去”的比例?这个数字比整体满意度更能说明问题。
互动提问:你会为了 5% 的噪声鲁棒性,放弃 15% 的业务术语准确率吗?在什么场景下这个交换是值得的?
— IMAI 编辑部 | 2026-10-27