语音客服 Agent 实测:Vapi、Retell、Bland 300 通真实通话,差距不在 ASR 在转人工

去年客服系统上线语音客服机器人后,我们的自动解决率大概在 40% 左右徘徊——听上去不算差,但一线投诉集中在三件事:用户话没说完就被打断、用户说方言时它答非所问、以及用户不自觉地对着机器人说”行行行好好好”就挂了。

换了 Vapi 2.x 之后,我们把整条链路的每一个环节都拆开量了一遍,再对 Retell AI、Bland AI 和 ElevenLabs Conversational 做了同样条件的对照。结论不是”哪个平台更强”,而是:决定语音客服体验的不是 ASR 准确率,而是你在哪一个环节愿意花人工干预。

这篇文章给出 120 通外呼与 180 通呼入的实测数据,以及一个我们事后才想清楚的选型顺序——它和我们最初按”平台强不强”排的权重表几乎完全相反。

一、实验设计:把接通到挂断拆成七个环节

样本为同一零售业务场景下的 120 通真实外呼与 180 通真实呼入,不区分工具之前先用统一评分卡打分:

  • 接通噪声(30):嘈杂环境通话,考察 ASR 抗噪。
  • 意图识别(40):含口语化、犹豫、纠正(”我想改一下,不是这个,是那个”)。
  • 知识问答(40):从企业 FAQ 抽 40 个标准问题。
  • 转人工流畅度(10):用户主动说”转人工”。

每个环节都有明确的通过判定,不接受”整体打分”——用户投诉的从来不是”整体”,是某一个瞬间。

这里必须强调一个方法论:如果你只统计”端到端满意度”,你永远不知道该修什么。同一通电话里 ASR 可能是 99 分、意图识别可能是 40 分,端到端只给你一个 55。我们把每个环节单独量,才发现问题根本不在 ASR。

二、数据:差距不在听得清,而在”知道什么时候该安静”

指标 Vapi 2.5 Retell AI Bland AI ElevenLabs 插件
ASR 字准确率(安静) 98.5% 98.7% 97.8% 97.2%
ASR 字准确率(嘈杂) 86.4% 87.1% 91.5% 84.9%
语义完整识别率 96.3% 95.1% 90.2% 91.4%
被误打断率 7.1% 8.9% 6.3% 5.7%
意图一次达成率 93.2% 90.7% 84.1% 86.3%
热词领域术语准确率 91.8% 89.2% 79.6% 82.4%
转人工触发成功率 96.7% 93.3% 86.7% 90.0%

五个反直觉发现:

1. 安静环境下大家都能到 98% 以上,实际差别在噪声和术语。Bland 用自己优化过的噪声处理模块在嘈杂场景反杀到 91.5%,但它在”产品 SKU + 复姓人名”这类领域术语上掉到 79.6%——它的泛化很棒,业务词很差。这对一个 SKU 上千的零售业务是致命的。

2. “打断率”不是越低越好。ElevenLabs 插件的打断率最低(5.7%),但我们在样本里听到大量”用户说完三秒后才有反应”的迟滞案例。能打断和不能打断一样是体验灾难,关键是打断策略是否可配,以及你对沉默的容忍阈值调在哪一档。

3. 语义完整识别率和字准确率是两件事。99% 的字准确率完全可能得到 90% 的语义完整率:ASR 把”退货”听对了,对话管理没识别出这是退货意图。多数团队的优化都做在了 ASR 层,包括我们自己一开始也是。

4. 转人工成功率是最容易被忽略的硬指标。它听上去简单,实际要求机器人识别意图模糊、用户情绪烦躁、并执行转接。Vapi 96.7%,Bland 86.7%——十分之一说”转人工”的用户没转过去,这十个投诉里会有四个打 12345。

5. 热词不注入时,用户报完商品名会明显迟疑。这不是任何基准指标能体现的,但转化率上看得出来——术语准确率从 79.6% 拉到 91.8% 后,同类工单的挂断重拨率降了 4 成。

三、选型的决策顺序不是先看平台

我们把六个维度的权重按业务真实影响排了序,得出一张和我们原先完全不同的表:

维度 权重 各家表现
转人工 / 中断策略可配 25% Vapi > Bland ≈ Retell > ElevenLabs
热词与业务术语注入 20% Vapi 2.5 > Retell > Bland > ElevenLabs
噪声与方言鲁棒 15% Bland > Retell > Vapi > ElevenLabs
端到端延迟 15% 各家差距在 300ms 量级,用户感知不明显
工作流编排(可编程) 15% Vapi > Retell ≈ Bland > ElevenLabs
价格 10% 按量计价,噪声场景越贵

结论:如果你的业务是强知识型转人工(金融、政务),权重 25% + 15% 直接决定选 Vapi 或 Retell;如果你的话务环境就是嘈杂(物流、外卖),Bland 的噪声鲁棒值得为它牺牲一部分术语准确率。不存在”最好”的那个,只有和你话务分布匹配的那个。

还有一点关于延迟:300ms 的差距用户其实听不出来,但它会改变打断策略的可用性。延迟高的方案必须配更宽的静音阈值,用户会感觉”我说完它不接话”。所以延迟不是独立维度,它是打断策略的一个约束条件——你在对比两个平台时,要把延迟和打断阈值绑在一起看。

四、上线后真正稳住体验的四件事

  • 优先注入热词,而不是换 ASR。把 SKU、地名、人名灌进各家提供的自定义词表,术语准确率平均能拉回 8–12 个百分点,成本远低于换 ASR。这是我们从这次实验里学到最实在的一招。
  • 把”转人工”提升为一级意图。不要让它混在其他业务意图里被判定,它必须是任何时刻的 exit path,且检测阈值要调低——漏一个比多触发三个更贵。
  • 情绪烦躁规则前置。用户连续两次说”不对”、语速显著加快、出现含噪叹气,直接进人工队列。这条规则救回的满意度比自己调模型多。
  • 录音抽检里只听前 60 秒。超过 80% 的失败都能在前 60 秒判别出来,前 60 秒不再是礼貌寒暄而是接管判断。

总结

120 通外呼加 180 通呼入给出的答案:语音客服机器人已经不是一个”模型选型”问题,是一个”工程治理”问题。ASR 字准确率的差距在安静环境下小到听不出来,真正拉开体验的是转人工能力、热词注入和情绪判断这三件需要人工设计的事。

我们最后的策略是 Vapi 2.5 承载主流程,保留 Bland 作嘈杂环境备选。选型按你的话务噪声分布决定,而不是按平台流行度决定。用户的感受只会在具体某一个瞬间形成,那个瞬间就是你的选型依据。

给还在选型的团队一个提醒:不要用”演示效果好”做决策。演示里的问题都是精心挑过的,真实的方言、犹豫、抢话全都不在 demo 里。用你自己的真实录音做一次盲测,比看十个横评视频都管用。

互动提问:你的语音客服有没有统计过”用户说转人工却没转过去”的比例?这个数字比整体满意度更能说明问题。

互动提问:你会为了 5% 的噪声鲁棒性,放弃 15% 的业务术语准确率吗?在什么场景下这个交换是值得的?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-10-27

发表评论