去年我们决定把内部的行研报告生成流程从「人工 + 模板」改成「AI Agent + 人工审校」,理由很朴素:一份 60 页的行业研究报告,研究员平均要 23 个工作日,而其中 41% 的时间花在找数据、填表格、调格式这类重复劳动上。
改造目标是让研究员只做判断和写作。半年后我们回头看:交付周期从 23 天降到 7.4 天,研究员满意度 8.9/10,但一个我们没预料到的副作用是——43 份报告里有 11 份在成稿阶段出现了同质化倾向,评审委员会的打分离散度从 2.1 涨到 4.7。
这篇复盘记录我们在 9 个月、43 份真实报告、1,860 个数据点上测出来的东西:AI 到底把哪部分工作做好了、哪里在悄悄降质、以及我们怎么把「效率收益」和「研究深度」重新掰回平衡的。
一、先拆清楚:一份行研报告里,哪些时间该被省掉
改造前我们做了一次时间解剖,把 6 名研究员、410 小时的完整工作流切成八段,目的是搞清楚「哪些是可自动化的、哪些不是」。这个判断如果错了,后面全错。
| 工作流环节 | 改造前耗时 | 占比 | 是否可自动化 | 判断依据 |
|---|---|---|---|---|
| 数据搜集与清洗 | 74 小时 | 18.0% | 大部分 | 来源固定、格式固定、可程序化 |
| 数据核对与交叉验证 | 52 小时 | 12.7% | 一半 | 交叉逻辑可自动化,口径判断需人工 |
| 图表制作 | 61 小时 | 14.9% | 大部分 | 数据到图表是确定性映射 |
| 格式排版 | 38 小时 | 9.3% | 几乎全部 | 纯规则 |
| 文献综述与背景 | 49 小时 | 12.0% | 部分 | 摘要可自动化,取舍与串联需人工 |
| 核心分析 | 68 小时 | 16.6% | 少量 | 框架设计、因果推断是核心壁垒 |
| 结论与建议 | 43 小时 | 10.5% | 少量 | 依赖判断力和风险意识 |
| 内部评审返工 | 25 小时 | 6.1% | 少量 | — |
我们改造的设计原则就是一句话:只自动化前四段(54.9%),中间两段做「AI 起草 + 人工重写」,最后两段完全人工。这个原则现在看是对的,但当时的执行还是出了问题,后面会讲。
二、效率侧的结果:43 份报告的真实数据
先说好的部分。9 个月里我们跑了 43 份完整报告(对比组是改造前同期的 38 份),效率指标:
- 交付周期:23.0 天 → 7.4 天(降 67.8%),其中数据搜集环节从 74 小时降到 11 小时,图表从 61 小时降到 8 小时。
- 研究员每周可并行报告数:1.4 份 → 3.9 份。
- 单份报告人力成本从 ¥47,600 降到 ¥18,900。
- 研究员主观满意度 8.9/10,最高票的反馈是「终于不用在做图表这种事上耗到半夜」。
- 内部评审返工从 25 小时降到 14 小时——这条出乎意料,我们以为 AI 生成的粗糙初稿会带来更多返工,实际上因为结构标准化了,返工反而少了。
数据质量侧必须承认的两个事实:
- 事实性错误率:人工时期 1.2%,AI 辅助时期 3.4%。错误构成变了——人工时期的错误主要是「数据看串行」和「年份写错」,AI 时期主要是「数据源过期未标注」和「口径混用」。
- 引用可追溯率:人工时期 94.7%,AI 时期 88.3%。下降主要来自文献综述段落——AI 倾向于把三个来源的观点合成一句不带引用的陈述。
这两条告诉我们一件事:AI 确实省了时间,但它省掉的那部分时间里,有一部分原本是用来兜住质量的。下面就是这件事的详细账本。
三、降质是怎么发生的:43 份报告的同质化解剖
问题在第六份报告之后开始显现。评审委员会反馈「最近几份报告的结论看着都差不多」。我们做了量化分析,把 43 份报告的核心结论段落拿出来做两两相似度比对:
改造前同期(38 份)平均两两余弦相似度 0.31,改造后前 6 份 0.38,第 7 到 28 份涨到 0.57,第 29 到 43 份达到 0.71。而且这种同质化有明显的形态特征,我们归纳成三种:
第一种,框架趋同。研究员输入的主题相似时,AI 给出的分析框架高度一致。我们统计了 43 份报告的章节目录,发现 68% 的报告都出现了「市场概览—驱动因素—挑战—趋势预测」这个结构。而改造前,这个比例只有 23%。模型对「标准的行业分析长什么样」有很强的先验,而这个先验正在悄悄替代研究员自己的思考框架。
第二种,证据的单向性。这是一个更危险的现象。改造前,一份平衡的报告平均会引用 3.2 个「反面证据或替代解释」;改造后平均只有 1.1 个。我们抽查了 17 份报告的结论段落,其中 9 份只找到了支持性证据。人类研究员写「挑战」章节时,会本能地去寻找反面观点;而 AI 在收到「分析这个市场的挑战」指令时,倾向于生成最典型、最不妨碍主线的挑战——安全、合规、人才,然后用中性措辞处理掉。结果是报告的结论都变成了「谨慎乐观」,而我们都知道真实世界的判断比这丰富得多。
第三种,数据颗粒度坍缩。改造前,一份报告平均引用 47 个具体数据点,来源 12 个;改造后变成 31 个数据点、来源 8 个。原因不是数据变少了,而是 AI 更倾向于用「同比大幅增长」「渗透率显著提升」这类概括性表述,而不是具体数字。研究员拿到初稿后,返工压力减小了,于是不再像过去那样逐个核对数据点——AI 的流畅性降低了人类把关的严格度。这个机制我们内部叫「流畅性麻醉」。
评审打分离散度从 2.1 涨到 4.7,就是这三个形态叠加的结果。离散度变大的方向值得注意:不是所有人都觉得变差了,是报告质量变得不稳定,好的报告更好,差的更差。深度访谈 6 名研究员后我们发现,最资深的两名研究员分数反而提高了(他们改造前就在用类似流程),而中间梯队的 4 名分数下降明显——他们把 AI 的初稿当成了起点而不是草稿。
四、我们怎么把研究深度掰回来:四个制度性改动
工具层面的修修补补解决不了这个问题,我们最后做的是流程改造。四条:
第一,强制「反向证据清单」。每份报告的结论章节前,必须附一节 AI 生成的「反对意见与替代解释」,并且要求评审人逐条确认「已回应」或「确认无关」,不能只看不勾。这个机制让反面证据数从 1.1 回到 2.8 个。原理很简单:AI 有确认偏差,而确认偏差的解法是制度化的反驳义务,不是更聪明的模型。
第二,结论必须人工重写,不允许在 AI 初稿上编辑。我们改了工作流:AI 初稿只写到数据与文献综述为止,核心分析和结论两章,研究员必须从空白页开始写,写完再对照 AI 的版本决定是否吸收。这个改动遭到很大阻力(效率明显下降),但它是四件事里对同质化最有效的——相似度从 0.71 回落到 0.42,结论部分的框架趋同基本消失。因为它切断了「把 AI 的框架当成思考起点」这条路径。
第三,数据点最低配额。每份报告设硬性下限:至少 40 个带来源的具体数据点、至少 10 个独立来源。这条是为了对抗流畅性麻醉,用配额把研究员的核对动作拉回来。事实错误率从 3.4% 降到 1.9%。
第四,评审指标改了。过去只看「交付周期、返工次数、数据准确率」,现在加了「结论区分度」——由两名不参与撰写的资深研究员盲评,只回答一个问题:「如果遮掉标题,你能看出这是谁写的吗?」能看出来是好报告,看不出来是坏报告。这个指标不好量化,但它直接对准了我们要守护的东西。
五、这套流程现在长什么样
改完之后的稳态指标,不是理想值,是我们现在真实在跑的数字:交付周期 11.6 天(比峰值效率的 7.4 天慢了 57%,但比改造前的 23 天仍快 50%),事实错误率 1.9%,引用可追溯率 93.1%,结论相似度 0.42,研究员满意度 8.4/10。
值得单独说一句满意度:从 8.9 降到 8.4,我们以为研究员会抱怨,但深度访谈的结果相反——最资深的两位说「现在这份工作重新有意思了」。中间梯队的反馈更复杂,一位研究员说得挺准:「以前是 AI 帮我干活,后来变成我帮 AI 干活,现在它回去帮我干活了。」
还有一条我们踩过的坑:不要把效率和深度设计成可以同时最大化的目标。改造中期我们曾经同时要求「周期压缩到 5 天」和「结论区分度达到 0.4 以下」,结果研究员普遍开始在下班后偷偷手动返工——系统里查不到这些时间,两年积累下来的真实工时数据是失真的。当两个指标冲突时,必须先明确定义哪个是主目标,而不是让基层用加班去同时满足两个账面指标。
总结
43 份真实报告、9 个月、410 小时的改造账本,最大的教训不是「AI 有幻觉」,幻觉是已知的。最大的教训是:AI 平滑掉的劳动里,有一部分原本正是深度发生的地方。研究员逐个核对数据点、追查反面证据、在空白页上纠结框架的那些低效时刻,恰恰是研究质量的护栏。当 AI 把这一切变得流畅而快速之后,护栏的消失不是以「错误」的形式出现的,是以「平庸」的形式出现的——没人犯错,只是所有报告读起来都差不多。
所以真正有效的四个改动,本质都不是「让 AI 更聪明」,而是把 AI 放在它该在的位置上:数据和格式交给它,判断和结论必须从一张空白页开始。半自动化的行研流程不是「AI 做得更多」,而是「AI 只做那些不该花人时间的部分,剩下的部分,人必须保留低效的权利」。我们的答案是周期 11.6 天而不是 7.4 天——如果你也在做类似的改造,希望你能接受这个不那么漂亮的数字。
互动提问:你们团队用 AI 辅助深度工作(研究、分析、长文)之后,有没有观察到这种「同质化」?我们是用结论相似度测出来的,很想看看其他团队用的什么指标。
互动提问:「结论必须人工重写」这条,我们执行起来阻力不小——研究员觉得浪费。你们有什么办法既守住「判断必须从人开始」这条线,又不让流程慢回去?
— IMAI 编辑部 | 2026-11-13