AI 单元测试生成实测:420 个真实函数,覆盖率涨了但 17% 的测试是自证式假动作

“覆盖率上去了,Bug 还是漏进了生产。”这是我们上个月被问住的第二个问题。上一次是被延迟问住,这一次是被自己问住:团队用 AI 补了一轮单元测试,覆盖率报告从 41.2% 涨到 72.6%,数字很漂亮,两周后一个空指针 Bug 照样穿过 CI 上了线——出问题的那个分支,测试报告显示”已覆盖”。

这件事逼着我们重新回答一个更基础的问题:我们测的到底是”代码被走到”,还是”行为被验证”?我们挑了 420 个真实函数做了三轮对照实测,结论是 AI 生成单元测试在”覆盖率”这个指标上确实强,但在变异测试(mutation testing)的杀掉率上并不比人强;17.3% 的 AI 测试属于”自证式假动作”——它们会执行代码,但断言的是实现细节而不是行为契约。

一、测试设计:先定义什么叫”有效的测试”

覆盖率是最容易被 AI 刷高的指标,因为它只要求”走到”。为了绕开这个幻觉,我们用了三层验收口径:

  • 行覆盖 / 分支覆盖:传统指标,回答”走到没有”。
  • 变异杀掉率:把源码做 40 类自动变异(改判断符号、改边界值、删语句、换运算符),看测试能不能挂。这才是”验证了没有”。
  • 人工定性:每个测试归入”行为契约 / 实现细节 / 无效”三类。

关键前提是三组同一起跑线:同一批函数、同一个模型、同样的重试次数。AI 组的输入不是整文件,而是函数签名 + 调用方样例 + 已有的接口契约注释;我们刻意不放实现细节进去,因为实现细节会诱导模型写”贴着脸写”的断言。

二、420 个函数,三轮实测的完整账

组别 分支覆盖 变异杀掉率 一次编译通过率 Flaky 率 自证式测试占比
人工手写(基线) 68.4% 74.1% 97.8% 2.1% 6.5%
AI 直接生成 72.6% 68.9% 81.3% 9.4% 17.3%
AI 生成 + 人工补边界 84.2% 86.7% 94.6% 3.2% 7.9%

三个数字值得单独说。第一,AI 把覆盖率拉高了 4.2 个点,但变异杀掉率反而比人工低 5.2 个点——这正是”覆盖率涨了 Bug 还在”的量化解释。第二,AI 组一次编译通过率只有 81.3%,剩下一成八要人工修 import、修 fixture、修 mock 链,这部分工时在原始账单里经常被忽略。第三,Flaky 率 9.4% 是人工的近 5 倍,主要来源是时间、随机数和隐式排序。

而”AI 生成 + 人工只补边界”这一组是我们最推荐的用法:人只干一件事——把 null、空集合、边界值、溢出值和异常路径这几类补上,其它交给模型。实测这组人均投入是纯手写的 38%,但杀掉率反而超过手写 12.6 个点。

三、四类失败模式,逐条对应到流水线

把 420 个测试里被判为”自证式”的 73 个全部拆开,毛病高度集中在四种,没有第五种:

  • 断言 mock 而不是断言行为(占 41.1%)。典型写法是验证 mock_repo.save 被调用了一次,而不是验证保存后的状态。业务逻辑换成”只写日志不落库”,这种测试照样绿。解法:要求只 mock 边界(时钟、随机数、HTTP、文件系统),不许 mock 领域对象。
  • 只走 happy path(占 33.0%)。AI 倾向于把”列举分支”和”测试每个分支”混为一谈。解法很简单也很有效:要求模型先输出分支清单,再为清单编号逐一写测试,缺失任何一个分支就报错重试。
  • 复制粘贴的近重复测试(占 15.2%)。换了输入、断言和第一个用例一模一样,杀掉率零贡献但拉高覆盖率。解法是跑一次去重,按断言签名聚类。
  • 隐式依赖环境(占 10.7%)。不冻结时钟、不固定随机种子、依赖 dict 遍历顺序。这一类是 Flaky 的主要来源,必须在 CI 上加”重复跑 20 次”的抽查。

四、能落地的流水线,和它真实的开销

我们把上述动作固化成了六步,跑在 PR 阶段:

  1. 输入只给签名 + 调用方 + 契约,不给实现。
  2. 强制先出分支清单,再出测试代码,清单与用例编号一一对应。
  3. 生成的测试先过一次静态检查(禁止 mock 领域对象、禁止 sleep、禁止裸 assert 在实现细节上)。
  4. 跑变异测试,杀掉率低于 80% 的模块打回。
  5. Flaky 抽查:抽样 10% 跑 20 次。
  6. 人工只补边界值,签字入库。

开销也说清楚,免得听起来像免费午餐:每千行被测代码,AI 生成 + 人工补齐的成本是纯手写的 62%,但因为返工减少和企业务质量库复用,长期反而便宜。真正的隐性成本是回归评测集——一旦测试写歪,它会长期骗过所有后续提交,这个成本比多写两天代码大得多。

五、适用边界:哪些场景别交给它

三种情况我们明确不让 AI 生成测试:需要理解业务规则编排顺序的编排层(AI 会测出”看起来覆盖”的假契约)、依赖外部系统真实响应的集成层、以及核心计费与权限判断。后者不是能力问题,是责任问题——这种测试必须由知道”错一次赔多少钱”的人写。

最后给一句可复述的结论:AI 写测试的价值不在”帮你免费过覆盖率 KPI”,而在于把人从机械的等价类划分里解放出来,只去干”想清楚如果错了会怎样”这一件事。覆盖率是过程指标,杀掉率才是结果指标。

互动提问:1) 你们团队的覆盖率 KPI 是否曾经被测过”杀死一个真 Bug 的能力”?2) 如果只允许 AI 写等价类和边界、禁止它写断言,你会放心把它接进 CI 吗?欢迎在评论区留下你测过的数字。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-07

发表评论