Deep Research 工具实测:120 次真实调研,四家差距在引用可审计性

Deep Research 是过去一年里被吹得最狠、用起来最拧巴的一类工具。宣传语都差不多:”给它一个问题,它还你一份带引用的报告。”但我们的同事上个月真的把一个竞品调研交给了它,交回来的报告有 38 条引用,其中 11 条打不开、6 条内容对不上、2 个数据在原文里根本不存在。剩下 19 条可用,但人工核对花了 5 个小时——比他自己查还慢。

所以我们做了一次较真的横向评测:Gemini Deep Research、OpenAI Deep Research、Perplexity Deep Research 和 Genspark,用 120 个真实调研问题(分四类),只回答三个问题:引用错在哪一环、报告的信息密度值不值那个价、什么场景下它真的比人快。

一、评测设计:问题分四类,引用逐条溯源

120 个问题全部来自我们过去半年真实提过的调研需求,不编造:

  • 市场事实类(30):“2025 年中国供应链 SaaS 市场规模和增速”这类有公开数据可查的问题。
  • 多源比对类(30):“对比 A、B、C 三家公司的定价策略差异”,需要跨多个信源交叉验证。
  • 技术演进类(30):“某技术路线近三年的方案变迁”,依赖论文、GitHub、技术博客。
  • 观点归纳类(30):“行业对某争议的主流看法有哪些流派”,没有唯一答案,考归纳能力。

验收方式是不看”报告写得好不好”,只看三件事:引用可打开率(链接是否 200、是否需要登录墙)、引用内容匹配度(点进去是否真的支撑那句话)、数据保真度(数字、单位、年份是否与原文一致)。每条引用人工核对,不抽样。同时记录端到端耗时和 token 成本。

二、120 次提问的成绩单

指标 Gemini DR OpenAI DR Perplexity DR Genspark
引用可打开率 78.3% 81.7% 85.2% 72.6%
引用内容匹配度 71.4% 76.9% 79.8% 65.1%
数据保真度(数字/单位正确) 88.6% 91.2% 89.7% 80.4%
市场事实类得分 86.1 88.4 90.2 78.9
多源比对类得分 82.7 85.3 83.6 76.2
技术演进类得分 79.4 84.1 74.8 72.3
观点归纳类得分 74.2 77.6 70.5 68.8
平均端到端耗时 9.5 分钟 14.2 分钟 3.8 分钟 6.7 分钟
单次平均成本 约 ¥4.2 约 ¥11.6 约 ¥1.8 约 ¥2.6

四个结论:

1. 没有一家的引用可以免检。最好的 Perplexity 引用匹配度 79.8%,意味着每五条引用仍有一条是”链接对但内容不对”——点开是一篇提到过该话题的文章,但它并不支持报告里那句具体的话。这是最危险的一类错误,因为链接能打开,人很容易跳过检查。我们内部现在的规则是:引用必须满足”链接可打开 + 页面内能找到支撑句”两个条件,缺一不可。

2. 耗时和得分不成正比,但也不成反比。OpenAI DR 平均 14.2 分钟最慢,技术演进类得分最高(84.1);Perplexity 3.8 分钟最快,市场事实类 90.2 分反超。慢有慢的理由:OpenAI DR 在长链路问题上真的会去读论文全文,而 Perplexity 更依赖搜索摘要。你要查”某方案三年的变迁”,慢的那个才对;你要查一个市场数字,快的那个就够。

3. 观点归纳类是全员短板,最高分只有 77.6。四个工具在这个类别上都犯了同一个毛病:把”某位作者的观点”写成”行业共识”。我们抽了一篇关于某技术争议的报告,工具归纳出”主流看法是 X”,但实际是五位被访者里两位支持 X、一位反对、两位没表态。工具倾向于给出结构整齐的结论,哪怕原始信源是分裂的。这类报告拿去内部汇报,风险比没用更大。

4. 成本差 6 倍,但错一个数据的代价远超差价。Perplexity 单次 1.8 元、OpenAI 11.6 元,差 6.4 倍。但一次错误的竞品定价数据导致我们错判过一次对手策略,返工成本远不止几百块。我们的选择是按问题类型路由,不是按总成本选。

三、我们的路由方案:按问题类型选工具

问题类型 首选 理由与人工动作
市场数字、规模、增速 Perplexity DR 快且事实类得分最高;人工只核对数字本身
技术方案、论文演进 OpenAI DR 唯一会深入读长文的;成本高但值得
竞品多源比对 Gemini DR 长上下文能同时挂多个信源,结构清晰
观点、争议、无唯一解 不用 DR,人自己读 全员低于 80 分,工具给不出可信的”共识”

三条血泪经验,直接可用:

  • 要求输出带”置信度标注”。我们的提示词里固定加一句:”对每个结论标注证据强度:强(多个独立信源一致)/ 中(单一信源)/ 弱(推测)。”加上这句之后,不可信结论的误用率下降明显——不是因为工具变准了,是因为我们终于知道哪些该怀疑。
  • 报告里引用的原文截图要留档。链接会死、页面会改,我们把关键支撑句截图存证,后期复盘时省了很多扯皮。
  • 不要一次问超过三层的问题。“市场规模 → 增速原因 → 对某区域的影响”这种三层追问,工具的中间层最容易编。拆成三次独立提问,引用质量回升 10 个百分点以上。

四、它到底比人快在哪:一个诚实的账

以我们做过的一个真实任务为例:”调研东南亚三国某品类的合规要求差异。”

  • 研究员人工:2.5 天,产出 12 页文档,20 条引用全部人工核验,其中 3 条来自行业协会需邮件确认。
  • Deep Research + 人工核验:40 分钟出报告,人工核验 26 条引用花 2 小时,补查 4 条本地法规(工具未覆盖),合计约 3 小时,产出 9 页文档。

看起来赢了,但有个前提:任务边界清晰。一旦涉及需要本地知识、行业协会资源或最新未公开政策的问题,工具的优势立刻归零。它快在”把公开信息聚合起来”这一段,不快的恰恰是调研里最费人力的那一段——确认信息到底准不准。

总结

120 次实测的结论:Deep Research 已经是可靠的信息聚合器,但还不是可靠的研究员。引用匹配度 65%–80% 的区间意味着它省的是”找”的时间,不是”信”的时间。按问题类型路由、强制置信度标注、引用双条件核验,这三件事做完,它才是生产力;不做,它就是一份看起来更专业的幻觉生成器。

一个判断:未来一年这个品类会从”谁的报告长”转向”谁的引用可审计”。当所有人都能一键生成一份 20 页报告时,能逐条追溯的报告才值钱。可审计性会是下一代工具的分水岭。

互动提问:你们团队现在怎么核验 AI 报告里的引用?是逐条点开,还是选择性抽查?抽查的比例是多少?

互动提问:有没有哪类调研问题,你试过所有 Deep Research 工具都失败、最后只能自己查的?那类问题有什么共同点?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-10-28

发表评论