“覆盖率上去了,Bug 还是漏进了生产。”这是我们上个月被问住的第二个问题。上一次是被延迟问住,这一次是被自己问住:团队用 AI 补了一轮单元测试,覆盖率报告从 41.2% 涨到 72.6%,数字很漂亮,两周后一个空指针 Bug 照样穿过 CI 上了线——出问题的那个分支,测试报告显示”已覆盖”。
这件事逼着我们重新回答一个更基础的问题:我们测的到底是”代码被走到”,还是”行为被验证”?我们挑了 420 个真实函数做了三轮对照实测,结论是 AI 生成单元测试在”覆盖率”这个指标上确实强,但在变异测试(mutation testing)的杀掉率上并不比人强;17.3% 的 AI 测试属于”自证式假动作”——它们会执行代码,但断言的是实现细节而不是行为契约。
一、测试设计:先定义什么叫”有效的测试”
覆盖率是最容易被 AI 刷高的指标,因为它只要求”走到”。为了绕开这个幻觉,我们用了三层验收口径:
- 行覆盖 / 分支覆盖:传统指标,回答”走到没有”。
- 变异杀掉率:把源码做 40 类自动变异(改判断符号、改边界值、删语句、换运算符),看测试能不能挂。这才是”验证了没有”。
- 人工定性:每个测试归入”行为契约 / 实现细节 / 无效”三类。
关键前提是三组同一起跑线:同一批函数、同一个模型、同样的重试次数。AI 组的输入不是整文件,而是函数签名 + 调用方样例 + 已有的接口契约注释;我们刻意不放实现细节进去,因为实现细节会诱导模型写”贴着脸写”的断言。
二、420 个函数,三轮实测的完整账
| 组别 | 分支覆盖 | 变异杀掉率 | 一次编译通过率 | Flaky 率 | 自证式测试占比 |
|---|---|---|---|---|---|
| 人工手写(基线) | 68.4% | 74.1% | 97.8% | 2.1% | 6.5% |
| AI 直接生成 | 72.6% | 68.9% | 81.3% | 9.4% | 17.3% |
| AI 生成 + 人工补边界 | 84.2% | 86.7% | 94.6% | 3.2% | 7.9% |
三个数字值得单独说。第一,AI 把覆盖率拉高了 4.2 个点,但变异杀掉率反而比人工低 5.2 个点——这正是”覆盖率涨了 Bug 还在”的量化解释。第二,AI 组一次编译通过率只有 81.3%,剩下一成八要人工修 import、修 fixture、修 mock 链,这部分工时在原始账单里经常被忽略。第三,Flaky 率 9.4% 是人工的近 5 倍,主要来源是时间、随机数和隐式排序。
而”AI 生成 + 人工只补边界”这一组是我们最推荐的用法:人只干一件事——把 null、空集合、边界值、溢出值和异常路径这几类补上,其它交给模型。实测这组人均投入是纯手写的 38%,但杀掉率反而超过手写 12.6 个点。
三、四类失败模式,逐条对应到流水线
把 420 个测试里被判为”自证式”的 73 个全部拆开,毛病高度集中在四种,没有第五种:
- 断言 mock 而不是断言行为(占 41.1%)。典型写法是验证
mock_repo.save被调用了一次,而不是验证保存后的状态。业务逻辑换成”只写日志不落库”,这种测试照样绿。解法:要求只 mock 边界(时钟、随机数、HTTP、文件系统),不许 mock 领域对象。 - 只走 happy path(占 33.0%)。AI 倾向于把”列举分支”和”测试每个分支”混为一谈。解法很简单也很有效:要求模型先输出分支清单,再为清单编号逐一写测试,缺失任何一个分支就报错重试。
- 复制粘贴的近重复测试(占 15.2%)。换了输入、断言和第一个用例一模一样,杀掉率零贡献但拉高覆盖率。解法是跑一次去重,按断言签名聚类。
- 隐式依赖环境(占 10.7%)。不冻结时钟、不固定随机种子、依赖 dict 遍历顺序。这一类是 Flaky 的主要来源,必须在 CI 上加”重复跑 20 次”的抽查。
四、能落地的流水线,和它真实的开销
我们把上述动作固化成了六步,跑在 PR 阶段:
- 输入只给签名 + 调用方 + 契约,不给实现。
- 强制先出分支清单,再出测试代码,清单与用例编号一一对应。
- 生成的测试先过一次静态检查(禁止 mock 领域对象、禁止
sleep、禁止裸assert在实现细节上)。 - 跑变异测试,杀掉率低于 80% 的模块打回。
- Flaky 抽查:抽样 10% 跑 20 次。
- 人工只补边界值,签字入库。
开销也说清楚,免得听起来像免费午餐:每千行被测代码,AI 生成 + 人工补齐的成本是纯手写的 62%,但因为返工减少和企业务质量库复用,长期反而便宜。真正的隐性成本是回归评测集——一旦测试写歪,它会长期骗过所有后续提交,这个成本比多写两天代码大得多。
五、适用边界:哪些场景别交给它
三种情况我们明确不让 AI 生成测试:需要理解业务规则编排顺序的编排层(AI 会测出”看起来覆盖”的假契约)、依赖外部系统真实响应的集成层、以及核心计费与权限判断。后者不是能力问题,是责任问题——这种测试必须由知道”错一次赔多少钱”的人写。
最后给一句可复述的结论:AI 写测试的价值不在”帮你免费过覆盖率 KPI”,而在于把人从机械的等价类划分里解放出来,只去干”想清楚如果错了会怎样”这一件事。覆盖率是过程指标,杀掉率才是结果指标。
互动提问:1) 你们团队的覆盖率 KPI 是否曾经被测过”杀死一个真 Bug 的能力”?2) 如果只允许 AI 写等价类和边界、禁止它写断言,你会放心把它接进 CI 吗?欢迎在评论区留下你测过的数字。
— IMAI 编辑部 | 2026-11-07