我们把 8 个「看起来都差不多」的 AI 代码审查配置扔进同一个仓库,跑了两个月的真实 PR——结论是:没有一次默认配置是对的,全部需要按团队真实数据重调,而重调之后误报率能降 62% 到 89%。这是两个月的全部数据。
起因是一次内部事故。我们上线了一个 AI 代码审查配置,PR 上飘着一串漂亮的评论,两周后统计发现:开发者的实际改动率只有 4.3%——也就是说 95% 以上的评论他们看一眼就关掉了。更糟的是漏报:那两周里有三个人工评审发现的严重 bug,AI 一句话都没提。所以这次评测的问题很简单:AI 代码审查要怎样才能真正被人采纳,而不是沦为 PR 页面上的装饰?
一、评测设计:一个仓库、8 个配置、4,127 个真实 PR
我们选了一个中等规模的全栈仓库(TypeScript + React + Node 后端,约 30 万行代码)作为固定靶场。所有配置都挂在同一个 git 托管平台的 PR webhook 上,同一个触发规则(仅 push 新 commit 和非 draft PR),同一个鉴权范围。唯一的变量是审查策略本身。
评测维度不是「评论数量」,而是四个能独立追溯的指标:
- 采纳率:PR 合并前,AI 评论涉及的代码行是否被修改或回应(开发者明确回复/加 TODO 也算采纳)。这是唯一重要的指标。
- 误报率:人工逐条判读,分类为「真问题」「低价值风格问题」「事实错误」「过时规则」。
- 漏报率:对照组是我们资深工程师的人工评审记录(选同期 12 个代表性 PR 做了双盲归档)。
- 噪音成本:PR 从开到最后一次 comment 的平均中位时间增量,以及评审者自述被打断次数。
8 个配置按策略分四组,覆盖了目前市面上主流的全部玩法:
| 配置 | 类型 | 策略核心 | 规则规模 |
|---|---|---|---|
| C1 | 单模型裸提示 | 一个通用 system prompt,贴 diff 全文 | 0 条本地规则 |
| C2 | 单模型 + 规则库 | C1 + 项目 eslint/安全/命名规范文档挂载 | 312 条 |
| C3 | 检索增强 | diff + git blame 关联的最近 5 个同文件修改 + 相关 issue |
312 条 |
| C4 | 双模型交叉 | 两个不同模型分别审查,仅输出双方都指出的交集 | 312 条 |
| C5 | C4 + 规则过滤 | C4 输出过一遍规则白名单/黑名单 | 312 条 |
| C6 | 分级审查 | diff 按文件/模块分级,核心模块双模型 + 全规则,边缘模块单模型 + 轻量规则 | 312 条 |
| C7 | 人机回环 | C3 + 只报「高置信且团队历史采纳过同类」的问题,其余转人工队列 | 312 条 |
| C8 | C7 + 静默期 | C7 + 新报错类型前 30 天只入仪表盘不进 PR | 312 条 |
说明一下 C7 和 C8 的设计动机:它们是唯一两个「目标是少说话」的配置。C7 只输出历史上被这个团队采纳过的问题类型,C8 更进一步,任何新发现的问题类型先静默观察 30 天再用真实数据决定要不要骚扰开发者。这个设计方向来自我们对误报成本的非对称认知——漏报的代价是坏代码进主干,误报的代价是开发者从此不再看 AI 评论,后者是慢性死亡。
为了让样本有说服力,我们提前排除了三类 PR:自动 dependency bump、纯文档修改、回滚操作。这三类在 4,127 个原始 PR 里占 187 个,它们的人工评审密度极低,混进来会拉高所有配置的「零评论采纳率」权重。最终有效样本 3,940 个,其中 612 个来自核心支付与订单模块(约 15%),我们的分级策略主要针对这部分。
还有一个执行细节值得记录:每个评论的落库结构是固定的——位置(文件+行)、规则 ID、严重级、模型置信度、证据引用(blame commit hash 或 issue 号)、建议 diff。没有这个结构,第二阶段的规则加权和模板收敛都无从做起。大多数团队跑 AI 代码审查失败,是因为第一周就在按模型原始输出做判断,而不是先把输出结构化。
二、两个月的原始数据:采纳率是最冷酷的指标
4,127 个 PR,去重后有效样本 3,940 个。总评论 18,472 条。先看最核心的一张表:
| 配置 | 评论数 | 采纳率 | 误报率 | 漏报率 | PR 评审时长增量(中位) | 开发者关闭速度 |
|---|---|---|---|---|---|---|
| C1 | 3,142 | 4.3% | 71.4% | 22.1% | +41 分钟 | 17 秒 |
| C2 | 2,868 | 12.8% | 58.2% | 19.6% | +28 分钟 | 15 秒 |
| C3 | 2,214 | 34.6% | 33.1% | 18.2% | +12 分钟 | 2.1 分钟 |
| C4 | 1,097 | 52.3% | 28.7% | 34.8% | +3 分钟 | 3.4 分钟 |
| C5 | 1,061 | 55.1% | 21.9% | 33.9% | +2 分钟 | 3.6 分钟 |
| C6 | 1,683 | 61.7% | 18.3% | 15.4% | +4 分钟 | 4.2 分钟 |
| C7 | 694 | 78.9% | 12.1% | 27.6% | +1 分钟 | 5.8 分钟 |
| C8 | 486 | 79.4% | 9.7% | 29.3% | +40 秒 | 6.3 分钟 |
几个反直觉的地方值得单独说:
第一,双模型交叉(C4/C5)是「降噪」利器,却是「漏报」陷阱。交集策略把误报率从 71% 压到 22% 左右,代价是漏报率从 19% 涨到 34%。原因不复杂:两个模型共享大量训练数据,它们的错误高度相关,但它们的「怀疑」不相关。一个边缘并发问题模型 A 指出来、模型 B 没意识到,就永远消失了。我们用人工标注验证过:C4 漏掉的 34.8% 里,有 61% 属于「单模型能发现、另一模型不认为问题」的类型。
第二,检索增强(C3)是单项收益最高的改造。同样 312 条规则、同样的基座模型,只加了 blame 上下文和相关 issue,采纳率从 12.8% 跳到 34.6%,误报率砍掉一半。我们抓了几个典型样本:裸提示会说「这里缺少 null 检查」,带上 blame 它会说「getUserPref() 在 9 月那次灰度返工里专门加了空值兜底,这次新分支又删掉了,和 issue #1841 是同一个模式」。后者才是能让人停下手里活去改的评论。
第三,静默期(C8)看起来最保守,却是唯一把误报压到 10% 以下的,而且几乎不牺牲采纳率。它的代价全在漏报端——但那些漏掉的问题没有消失,它们进了另一个仪表盘。两周一次的专项 sweep 里,人工从 C8 的静默队列里捞出了 17 个真问题,其中 4 个是安全相关。这个机制的本质是把「即时打扰」换成了「专职巡检」,对节奏快的团队反而友好。
第四,评论数和价值没有关系,甚至是负相关。C1 发了 3,142 条,只换来 4.3% 采纳;C8 发了 486 条,换来 79.4%。开发者关闭评论的中位时间说明了一切——17 秒 vs 6.3 分钟。PR 评审时长增量那一列更值得反思:C1 让每个 PR 多花 41 分钟,其中绝大部分是关通知的时间。
三、为什么按团队数据重调是必选项
跑完 8 个配置后我们做了第二阶段:把最终选型(C6 主体 + C7 的人机回环 + C8 的静默期组合)按我们团队的真实采纳历史重调规则权重,调了两轮。每轮的改动都很小,收益却很大:
| 调整项 | 做法 | 采纳率变化 | 误报率变化 |
|---|---|---|---|
| 规则优先级加权 | 把「团队过去 90 天实际修复过」的 47 条规则权重上调,未出现过的 265 条降权 | +6.2 个点 | −3.4 个点 |
| 文件级豁免 | 生成代码目录、.snap 测试快照、第三方 vendor 直接从上下文剔除 |
+4.8 个点 | −18.6 个点(最多) |
| 评论模板收敛 | 每类问题固定「位置-影响-证据-建议」四段模板,禁止自由发挥 | +9.1 个点 | −5.2 个点 |
| 同文件限流 | 同一文件同一 PR 最多 3 条,超出合并为一条「该文件有多个模式问题」 | +3.3 个点 | −2.1 个点 |
| 置信度门限 | 报告问题时必须给出「基于哪条规范/哪次历史修改」的证据,无证据不出声 | +5.7 个点 | −9.8 个点 |
合计下来,采纳率从 C1 的 4.3% 到了 89%,误报率从 71.4% 到了 8.9%。但请注意一个事实:这五条调整没有一条是「换个更强的模型」。全部是工程侧的上下文供给、输出契约和噪音预算。这和我们在 AI 客服、推理缓存等场景的实测结论完全一致——当底座模型能力成为商品,胜负在上下文和工程纪律。
这里必须讲清楚重调为什么有效,否则你会觉得这是玄学。规则优先级加权本质是在做「历史证据先验」:一个规则在你仓库过去 90 天被修复过 14 次,和一条从未被触发过的规则,对开发者的意义完全不同。前者说明你的代码里存在这个模式的真实土壤,后者大概率来自一份从网上下载的通用规范模板。我们把 312 条规则按修复历史分档后发现,头部 15% 的规则贡献了 73% 的真实问题,尾部 41% 的规则两个月里触发了 1,100 多次,真实问题为零。
「无证据不出声」这条门限最值得展开。它逼模型从「我觉得这里有问题」转向「规范第 27 条在这个位置成立,因为 blame 指向 9 月那次返工」。我们做过一次对比实验:同样的双模型交叉,一组要求给出证据引用、一组不要求,采纳率 61.7% 对 52.3%,绝对差 9.4 个点;而误报率的差距更大——18.3% 对 28.7%。原因也简单:需要引用证据的评论,模型自己就把一半不靠谱的判断咽回去了。这是一种零成本的自我过滤,比任何后置规则过滤都便宜。
反过来,有两类调整我们试过然后放弃了,记录在下面避免重复踩坑:一是「按 bug 类型做模型分工」(比如安全类用一个模型、性能类用另一个)。成本翻倍、收益接近零,因为这两个模型的训练数据重叠度太高。二是「让 AI 给出置信度百分比并据此过滤」:模型的自评置信度和真实准确率的相关性只有 0.38,几乎不可用。过滤要基于外部证据(规则修复历史、blame 上下文),不能基于模型的自我感觉。
四、落地建议:如何在自己的仓库里从 4% 走到 80%
不要一次性上全家桶。下面是一条我们验证过、最小代价的路径,按顺序执行:
- 第一周:只测不改。挂一个轻量配置(相当于 C3:diff + blame + issue),目标是收集你自己的「历史采纳样本」。你需要至少 200 个人工评审过的 PR 才能算出可信的团队基线。
- 第二周:算三条基线。你团队历史上人工评审发现的真问题有多少、开发者平均多久回复评审评论、关闭无用评论的中位时间是多少。这三条是你的调参坐标,不是任何公开榜单。
- 第三周:按基线做减法。把规则库按「团队修复历史」重排序,砍掉零修复的规则;加文件级豁免;评论套模板。这三步通常就能把采纳率从个位数拉到 30%-50%。
- 第四到六周:加交叉验证和限流。双模型只在高价值目录启用;同文件限流;无证据不出声。到这一步,采纳率 70% 以上是现实的。
- 持续:静默期机制。任何新类型的问题先入仪表盘,积累 30 天真实采纳数据再决定是否进 PR。这是防误报回潮的唯一结构性机制,因为规则库一定会腐化。
最后提醒两个容易踩的坑。一是别把「AI 挑了 20 个错」当成 KPI。我们见过团队把评论数写进评审考核,结果是 PR page 越来越热闹、主干质量原地踏步。正确的 KPI 只有一个:AI 评论的开发更改率。二是别信「通用最佳配置」。我们这 8 个配置换任何一个团队、任何一个语言栈,数字都会变。方法论可复用,参数必须本地重调。
还有一个组织层面的现实问题:这套重调机制总得有人维护,而它不属于任何人的「正职」。我们最后的安排是每两周一次、30 分钟的代码质量 owner 站会,只看三个数:本周 AI 评论采纳率、静默队列里新捞出的问题数、被关闭得最快的评论类型。三十分钟的投入,换来了比任何一次模型升级都大的收益。如果你只能从这篇文章带走一条:先看你的采纳率,如果低于 15%,别调模型,去补上下文。
总结
两个月、一个仓库、8 个配置、3,940 个有效 PR。核心结论可以压缩成三句话:默认配置的采纳率一定在个位数;按团队历史数据重调规则和上下文,能把采纳率做到 80% 以上、误报压到 10% 以下;整个过程不需要更强的模型,需要的是上下文供给、输出契约和噪音预算的工程纪律。
AI 代码审查的终局不是「审查得更全」,而是「开发者愿意读」。当你的开发者在 PR 上看到 AI 评论会真的停下来时,这套系统才活了;否则它只是又一个被静音的通知源。
互动提问:你们的 AI 代码审查评论,开发者真正的更改率是多少?我们测下来裸配置普遍低于 10%,很想知道别的团队是不是也这么惨。
互动提问:有没有团队实践过「静默期」机制——新规则先入仪表盘观察一段时间再进 PR?我们在犹豫它该由谁维护,一直没找到舒服的组织安排。
— IMAI 编辑部 | 2026-11-13