AI 编程采用率复盘:71% 这个数字,让四位资深工程师关掉了工具两个月

我们公司去年 11 月开始考核「AI 编程的每日采用率」,今年 1 月复盘时发现一件难堪的事:这项指标是 71%,但资深工程师里有四个人把 AI 补全关掉整整两个月,而他们的代码合并速度和缺陷率是全团队最好的。这不是他们懈怠,是我们用错了尺子。这是关于这项指标为什么失效、以及该换成什么的完整复盘。

先说结论:「AI 编程采用率」是个虚荣指标,它同时高估了 AI 的贡献、低估了真正的成本,而且对资深工程师有系统性惩罚。在我们自己的 23 人工程团队、9 个真实项目上做了三个月的对照后,我们应该更早换掉的不是工具,是尺子。

一、71% 的采用率是怎么算出来的,以及它错在哪

我们的默认口径很常见:每天至少触发一次 AI 补全或对话的人数 / 活跃工程师数。23 人团队,1 月活跃 22 人,触发过的 18 人,所以是 81.8%,剔除休假的 5 人是 71%。这个数字让我们在内部汇报里很体面。

但拆开看,它至少混合了四种完全不同的行为:

行为类型 人数 对交付的真实影响 该不该算「采用」
深度使用(主力工具) 7 正向,约 +35% 吞吐 是
模板化使用(样板代码、单测、注释) 6 正向但有限,+8% 部分是
试探后放弃 5 中性,浪费了学习时间 否
被迫营业(考核压力下挂着不关) 4 负向,−12%(返工率上升) 否,但全被算进去了

那个 −12% 是我们最大的发现。这四个人来自三个项目,覆盖核心支付、交易中台和数据平台,他们关掉 AI 的理由不是抵触,是他们处理的代码需要同时在大脑里维持六七个模块的不变量,AI 补全在上下文里给出的「看起来对」的选项会把他们的注意力从真实约束上拉开。他们的原话很统一:「我读它生成的那两行的时间,比我自己写的时间长,而且我还要额外验证它没偷偷改掉边界条件。」

这不是个别现象。「被迫营业」那 4 人里有 3 人的返工率在 12 月到 1 月之间上升了 30% 以上,而把他们从考核压力下放开之后,回工率两周内回到了原水平。所以这个指标不只是虚荣,它在主动制造损失。

顺带说一句方法论:这四个人是我们从 22 个活跃样本里靠「工具自动退出率」这个反指标捞出来的。默认开启的工具,看谁关得最彻底、关得最久,往往能捞出最有判断力的工程师。后来我们把这个信号正式纳入了 onboarding 后的第一轮技术面谈,而它最初的来源只是那次难堪的复盘。

二、用错了尺子,还会把三种成本全部抹掉

采用率的第二个问题是它的分母。它算的是「用不用」,完全不算用了之后发生了什么。我们补了三个月的数据,三种成本在采用率里都是隐形的:

  • 复核成本:所有被合并的 AI 生成代码,平均要经手 1.9 次人工修改才进主干。这 1.9 次里约 0.6 次是纯粹的「AI 风格不一致」返工——改成团队现有的命名和结构。纯粹的摩擦,零价值。
  • 上下文切换成本:打断测量显示,深度使用者在写复杂模块时被打断后恢复中位 23 分钟,而 AI 补全的每次触发都是一次轻度打断。虽然单次很轻,但它落在最不该被打断的时段。
  • 技能折旧成本:最难量化但最真实。两位 2021 年入职的工程师,在重度使用半年后,手写复杂 SQL 和正则的能力明显下降,在评审别人的 AI 代码时判断力不如从前。这项没有出现在任何仪表盘上,但两年后会影响团队梯队。

把三种成本加进去,那 7 个深度用户的净收益从 +35% 掉到 +19%,而那 4 个被迫营业者的净值是负的。一个把 30% 的人变成负贡献的指标,不配当北极星。

三、我们换成什么:三个可以直接抄的指标

3 月起我们换了三个指标,都是团队自己能从现有工具算出来的,不需要额外采购:

指标 定义 当前值 为什么更可靠
净吞吐比 合并的 PR 故事点数 / 全部工程耗时(含评审与返工) 1.34 把成本放进分母,造假空间小
返工密度 PR 合并后 14 天内因质量原因改动的行数 / 总新增行数 6.8% 直接反映 AI 生成质量,且是滞后指标,无人能临时刷
自愿采用时长占比 主动开启工具的有效编码时长 / 总编码时长 41% 去掉被迫营业,反映真实偏好

「返工密度」是这三个里最有信息量的一个。它天然带两周滞后,没人能在周一早上把它刷绿。我们发现它和团队对 AI 代码的主观满意度相关系数 0.83,远高于任何问卷。它还顺带解决了一个争论:去年 12 月和今年 1 月,返工密度从 4.1% 涨到 6.8%,而在那之前的两周我们刚把 AI 工具切到了更激进的补全档位。是返工密度告诉我们这次工具升级是负收益的,采用率只会告诉我们「大家用得更勤了」。

说到相关系数要多一句嘴:这三个指标里唯一需要「人工打标」的是净吞吐比的分母——代码评审和返工的工时必须有归属,否则分母残缺,比值虚假。我们用的是 PR 上的「评审等待中」状态计时,由 git 平台原生提供,不额外增加管理负担。凡是需要工程师额外填表才能算出来的指标,都会在第三个星期开始失真,这是我们付过学费的。

还有一个附带的做法:把「工具」从团队级默认开启改成个人级按需开启,由提交配置管。这个改动本身零成本,但它把选择权还给了工程师,两个月内那 4 位资深者中有 3 位在复杂模块之外重新打开了它。工具是应该被自由挑选的,不是被考核摊派的。

四、给正在考核这个指标的团队四条建议

  1. 如果一定要保留采用率,把它降级为「健康度观察项」而不是 KPI,并且至少拆出「深度使用 / 模板使用 / 试探 / 被迫」四档,只让第一档进汇报。
  2. 把复核成本显式化:要求每个 AI 辅助完成的 PR 打一个标签,累计「合并后 14 天返工行数」。没有这个标签,你永远不知道 AI 帮你省下的两小时是不是要用三天还回去。
  3. 永远不要把它和个人绩效挂钩。我们是被自己的例子教育的:一旦挂钩,它测的就是员工的顺从度,不是工具的价值。
  4. 给「关闭者」留正式通道。让工程师能写「我在什么类型的代码上主动关闭 AI 以及为什么」,这些反馈的真实度远高于问卷——被迫营业的人嘴上说好,回归数据上说不好。

最后说个反例,免得你觉得我们在黑 AI 编程。那 7 个深度用户是真的把交付速度提上去了,而且是在扣完成本之后。问题从来不是工具,是用一把所有人都得交作业的尺子去量它。采用率衡量的是「服从」,净吞吐比衡量的是「价值」,而后者才配决定预算和工具选型。

总结

一句话版本:「AI 编程采用率」把被迫营业算成采用、把三种成本排除在外、对资深工程师有系统性惩罚,它是个该被降级的虚荣指标;换成「净吞吐比 + 返工密度 + 自愿采用时长占比」这三件套之后,我们才第一次看清哪些工具升级是真收益、哪些是负收益。

更大的一层教训适用于所有 AI 落地场景:当考核指标测的是「用没用」而不是「值不值」,团队会用使用行为满足指标,而不是用交付结果满足指标。我们的 71% 就是这样来的,希望你的不是。

互动提问:你们团队有没有「AI 编程采用率」类考核?它有没有催生过我们这种「挂着不关」的被迫营业?我很想收集不同组织的真实形态。

互动提问:有没有团队把「合并后 14 天返工密度」做成 AI 代码质量的标准指标的?我们测下来它是目前最抗操纵的一个,但样本只有 9 个项目,想看更大规模的数据。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-13

发表评论