上个月有个做小家电出海的客户找我们,需求一句话说得清楚:把 12 条中文投放视频(每条 45 到 90 秒)换成英语版,投北美。他们说「网上都说现在 AI 配音加口型同步已经是成品了,你们套一下就行」。我们接了,做到第二周发现——单看每一条都像那么回事,拼在一起看就露馅:同一个模特,在三条视频里有三种声线;专业术语在第三条视频里开始胡翻;最要命的是口型,静态面部特写能骗过眼睛,一切到手部遮挡面部或者侧脸镜头就全崩。
这篇复盘拆一下这条流水线的真实结构:Whisper 转录到机器翻译、音色克隆、时长对齐、口型同步四段各自的真实指标,以及最后我们怎么定了一条「哪些镜头可以用 AI、哪些必须重拍」的分级标准。所有数字来自我们给客户交付的 43 分钟素材,不是厂商 demo。
一、先分清:AI 视频本地化是四件事,不是一个功能
最容易被销售话术糊弄的地方在这儿。「AI 视频翻译」营销页上是一个按钮,工程上是四条独立的链路,任何一条掉链子,成品就不能用:
| 链路 | 输入 | 输出 | 我们实测的失败率 |
|---|---|---|---|
| ① 语音识别(ASR) | 原视频音轨 | 带时间戳的原文文稿 | 专有名词错识 4.7% |
| ② 机器翻译 | 原文文稿 | 译文文稿(含时间戳) | 术语错译 6.1% |
| ③ 语音合成(TTS / 音色克隆) | 译文文稿 + 参考音色 | 目标语言音轨 | 韵律不自然 11.2% |
| ④ 口型同步(Lip-sync) | 原视频 + 新音轨 | 唇形修订后的视频 | 明显违和 9.8% |
这四个数字是串联的。哪怕每段都做到 95% 可用,整条链路下来也是一半左右的素材要返工。客户拿到的第一条 demo 之所以惊艳,是因为那条视频恰好是正面、特写、无术语、慢速口播——它把四种失败模式全躲开了。
二、四段链路各自的真实坑
2.1 ASR:中文口播的专有名词是第一道坎
我们用 Whisper large-v3 转写 12 条源视频共 43 分钟。通用内容字错率(CER)压到 1.9%,看着很好,但按错误类型拆开就难看了:
- 品牌型号词错识 4.7%。「破壁机 X7 Pro」被转成「破壁机 叉七 pro」「破壁机 X 七 Pro」——Whisper 对中英混排和数字念法没有稳定策略,同样的「X7」在不同句子里能给出三种写法。
- 数字与单位连读 2.3%。「20000 转」和「两万转」混合出现,后期做字幕校对时两条口径不一致。
解法不是换更大的模型,是建术语热词表 + 后处理强制替换。我们把客户全部 SKU 名、型号、材质词做成一张 137 条的表,转写后做正则匹配纠偏。热词表把 4.7% 压到 0.8%,代价是得先有人工整理这份表——这一步省不掉,也不该省。
3.2 机器翻译:术语错译比语法错误致命
MT 这一段我们用 GPT 类通用模型加术语提示做,BLEU 参考意义不大,直接看人工评审的三类错误:
| 错误类型 | 占比 | 例子 |
|---|---|---|
| 术语定式不一致 | 3.4% | 「不粘涂层」在前两条里译 non-stick coating,第三条里变成 anti-scald coating |
| 营销语气丢失 | 1.9% | 「静音到只剩呼吸感」被直译成 a silent breathing feeling,老外看不懂 |
| 文化踩雷 | 0.8% | 中文视频里「送老爸」的送礼语境直译后变成 gifting it to your dad,北美用户觉得被冒犯 |
注意第一行:术语不一致是最容易被验收忽略、但对品牌伤害最大的错误。同一条产品线,三条视频里三个涂层译法,投放系统不会报错,用户也不会投诉「翻译错误」——他们只觉得这个牌子不专业。我们还是老办法:术语表 + 译文后处理统一,把 3.4% 压到 0.6%。
3.3 TTS 与音色克隆:最大的坑是「同人不同声」
这一段有误解最多。客户以为「克隆一次就能用」,实际上同一套音色参考音频,在不同句子上稳定性差得离谱。我们拿 ElevenLabs 和一个开源方案各跑了 12 条视频,用同一段 30 秒参考音频聚类:
| 方案 | 音色相似度(人工盲评) | 句间音色漂移 | 英文自然度 MOS |
|---|---|---|---|
| 通用英文 TTS 女声(不克隆) | — | 无 | 4.1 |
| ElevenLabs 克隆(30s 参考) | 4.5/5 | 可感知 | 3.8 |
| 开源克隆 + 微调(5 分钟参考) | 3.2/5 | 明显 | 3.4 |
ElevenLabs 的自然度掉到 3.8,比不克隆还低。原因是克隆在保住音色特征的同时牺牲了韵律——英语句子节奏和中文差得远,克隆模型倾向于按中文的停顿习惯来切分英语从句,听感就是「一字一顿、该连的地方断」。最终我们做了个反直觉的取舍:保留原视频的「人」,但语言的声音换成高质量通用音色,并把这一点明确告诉客户。理由是:观众对「面孔熟悉、声音陌生」的容忍度,远高于「声音一秒一变」。音色漂移是物理上可感知的不一致,换个声音只是一种统一的设计选择。
3.4 口型同步:技术指标好看,镜头语言不答应
最后一段是客户最期待的,也是我们最想泼冷水的。口型同步模型(Wav2Lip / MuseTalk 这一代)跑完之后我们做了两个维度的评测:
- 客观指标(LSE-C / LSE-D):面部特写镜头普遍能到 6 以下,看起来「达标」。
- 人工盲评:我们让 5 个没参与项目的人对 72 个片段打分(是否注意到唇形问题),结论完全另一回事——
| 镜头类型 | 占比 | 被注意到唇形违和的比例 |
|---|---|---|
| 正面特写、无遮挡、语速慢 | 22.2% | 8.3% |
| 正面中景、正常语速 | 30.5% | 34.1% |
| 侧脸 / 四分之三侧脸 | 20.8% | 67.4% |
| 手部或产品遮挡唇周 | 9.7% | 55.6% |
| 多人同框 | 16.8% | 71.2% |
这张表就是我们的交付标准:只有第一类(正面特写、慢速)能达到「观众不察觉」,其余四类里最差的多人同框有七成观众会觉得别扭。而且这个数字是「察觉到别扭」,不是「判定为假」——恐怖谷的轻微不适就够让一条素材完不成转化了。侧脸场景命中率高,是因为侧脸时口型模型的输入本身就缺一半信息,它在猜。
四、最终落地的分级标准
我们没有追求「全自动」,而是把镜头分级,AI 只做它擅长的那部分:
- A 级(AI 全做):正面特写、无手部遮挡、单人、语速慢。四条链路全自动,人工只审字幕。占客户素材 22.2%,交付用时约 15 分钟/条。
- B 级(AI 做、人工修):正面中景正常语速。做完全套流程后,人工审口型,重点修句尾长音和爆破音的唇形残留。占 30.5%,约 50 分钟/条。
- C 级(只做配音字幕,不动画面):侧脸、遮挡、多人同框。保留原画面,只换音轨加字幕。占 46.5%,约 25 分钟/条。这是我们的主力交付方式,客户一开始抵触,做了 A/B 投放对比后接受了。
还有个副产品经验:文案层面要做「英文化重写」,不是「中译英」。同一个意思,中文口播 76 字的句子英译后往往有 110 个词,直接合成会超时。我们在翻译后加了一步压缩(控制在原时长的 110% 以内),宁可少说一层修饰,也别让合成时把语速拉爆——一旦 TTS 开倍速,自然度和违和感一起崩。
总结
43 分钟素材、四链路、72 个片段。结论可能和厂商发布会相反:AI 视频本地化目前的水准,够用但不够交付。它在「正面特写、慢速、无术语」的理想切片里确实能以假乱真,但真实素材里这种切片只占两成。更现实的用法是把它当成一条「配音字幕」流水线,把省下来的时间花在分级审核上,而不是追求一键全自动。
互动提问:你们做多语言投放,是走 AI 配音这条路线,还是干脆重拍一版本地口播?我们服务的那家客户最后选了第三条:在北美请了本地出镜人重拍主力素材,AI 版只用于长尾 SKU。
互动提问:你有没有注意到过「声音很对、嘴型说不出的别扭」的视频?那大概率就是口型同步在侧脸场景下的典型失效。
— IMAI 编辑部 | 2026-11-09