共 691 篇文章

AI 编程采用率复盘:71% 这个数字,让四位资深工程师关掉了工具两个月

我们在 23 人工程团队考核了三个月 AI 编程采用率,71% 的数字背后是四类被混为一谈的行为,其中被迫营业的四人返工率上升 30%。这篇复盘拆解采用率为何失效、三种被抹掉的成本,以及我们换成的三个指标:净吞吐比、返工密度、自愿采用时长占比,附可直接抄的落地建议。

RAG 检索失败实测:2,410 个真实工单,问题不在模型在切分边界

2,410 个真实工单问题、四条方案的三个月迭代:28.3% 的问题属需跨段实体,裸切分正确率只有 61.7%,根因是切分边界把型号、主谓、表格切断在两头。用小块索引加父块返回把正确率拉到 91.8%,再加结构化实体表解决跨文档问题。附 reranker 无效论与四类失败分类看板。

AI 生成图检测实测:1,860 张电商素材,精修后只剩 58% 召回,手机直出被误判

1,860 张真实电商素材、四路检测方案的复盘:商用检测器总体准确率 93% 是样本不平衡的假象,对 AI 生成后人工精修的召回只有 58%,还会把手机夜景、HDR 算法直出误判成 AI 生成。附误报集中的三类场景、精修手段细分表,以及我们用元数据加凭证白名单加人工抽检的分层流程与成本账。

AI 代码审查实测:8 个配置、3,940 个真实 PR,采纳率从 4.3% 调到 89% 的代价

一个仓库、8 个配置、3,940 个真实 PR 的两个月实测:AI 代码审查的默认配置采纳率只有 4.3%,误报率 71%。按团队历史重调规则、补 blame 上下文、加证据门限和静默期后,采纳率到 89%、误报压到 9%。全程不换模型,靠的是上下文供给、输出契约和噪音预算的工程纪律。附六周落地路径与两类无效优化。

AI 搜索引用污染实测:320 组真实查询、1,847 条引用人工核验,最像搜索引擎的那家软广率最高

320 组真实查询、21 天时效追踪、1,847 条引用逐条人工核验:Perplexity、Google AI Overviews、Bing Chat 与自建 RAG 的软广率、指东引西率、过期未标注率、争议均衡度全数据。结论:四家产品谁答得对差距不大,真正的分水岭是引用可信度与争议呈现均衡度。

AI 写行研报告半年复盘:43 份真实报告,交付从 23 天降到 7.4 天,但结论同质化让我们把效率还了回去

43 份真实行研报告、9 个月改造复盘:交付周期从 23 天降到 7.4 天、成本降 60%,但结论两两相似度从 0.31 涨到 0.71,反面证据数从 3.2 掉到 1.1,评审打分离散度翻倍。深度解剖「流畅性麻醉」如何摧毁研究深度,以及四个把深度掰回来的制度性改动。

MCP 工具调用实战:48 个真实工具、11,300 次调用,静默失败率从 6.4% 压到 0.3% 的四层校验

48 个真实 MCP 工具、11,300 次生产调用实测:静默失败率高达 6.4%,而最常见的「让模型自己判断结果合理吗」只能检出 41.7%。四层校验(形状前置断言、跨工具一致性校验、回读比对、趋势告警与循环熔断)把它压到 0.3%,并讲清为什么我们主动停在 0.3% 而不是追 0。

长上下文不是万能药:137 份真实长文档、4,860 次问答,全文塞入的正确率反而低 8.8 个点

137 份真实长文档、4,860 次问答、9 周实测:全文塞入 100 万 token 上下文的加权正确率反而比「检索后 200K」低 8.8 个百分点,单次查询成本却高 29 倍。深度拆解注意力 U 形衰减、跨段比较与口径一致性退化、prompt 缓存省钱逻辑,以及我们把架构改回三层漏斗后的完整数据。

投机解码生产实测:1,240 万次请求,文档里的 2-3 倍加速只有 1.53 倍

1,240 万次真实请求、14 周实测:投机解码加权加速比只有 1.53 倍,短请求甚至是负优化(P99 +3.8%)。拆解加速比对接受率、输出长度、批大小与 temperature 的依赖,以及按预估输出长度实时开关的落地策略与经验公式。

AI Agent 值班初筛实测:1,860 条告警,它最强的是盘形,最差的是「最近变更」

90 天、1,860 条真实告警实测:AI Agent 定性准确率 73.4%,曲线形态识别比人类更稳,但对「最近一次变更」的轻信让 48.4% 的指向是错的。复盘调用图约束、业务影响网与「只产假设」这条边界,如何把误处置降 57%、定性时长从 29 分钟压到 11.6 分钟。

设计稿转代码实测:2,300 次生成,可用率从 22.9% 到 61.5% 的代价

148 个中后台页面、2,300 次生成实测:AI 设计稿转代码视觉还原度 78.4%,但一次通过率只有 22.9%。瓶颈不在模型而在设计交付物本身——间距 token、组件 instance 与显式断点约定,才是决定可用率的三个变量,工程改造后升至 61.5%。

AI 客服不能只做 FAQ:8,412 个真实工单归因,43.7% 的请求压根不该自动应答

8,412 个真实工单归因发现:43.7% 的客服请求需要调用业务系统才能闭环,纯 FAQ 式 AI 客服再准也答不了。本文复盘如何筛选 12 个可执行动作、设计四类安全防线,把自动化闭环率从 28.5% 做到 71.4%,CSAT 从 3.71 拉到 4.26。