Deep Research 是过去一年里被吹得最狠、用起来最拧巴的一类工具。宣传语都差不多:”给它一个问题,它还你一份带引用的报告。”但我们的同事上个月真的把一个竞品调研交给了它,交回来的报告有 38 条引用,其中 11 条打不开、6 条内容对不上、2 个数据在原文里根本不存在。剩下 19 条可用,但人工核对花了 5 个小时——比他自己查还慢。
所以我们做了一次较真的横向评测:Gemini Deep Research、OpenAI Deep Research、Perplexity Deep Research 和 Genspark,用 120 个真实调研问题(分四类),只回答三个问题:引用错在哪一环、报告的信息密度值不值那个价、什么场景下它真的比人快。
一、评测设计:问题分四类,引用逐条溯源
120 个问题全部来自我们过去半年真实提过的调研需求,不编造:
- 市场事实类(30):“2025 年中国供应链 SaaS 市场规模和增速”这类有公开数据可查的问题。
- 多源比对类(30):“对比 A、B、C 三家公司的定价策略差异”,需要跨多个信源交叉验证。
- 技术演进类(30):“某技术路线近三年的方案变迁”,依赖论文、GitHub、技术博客。
- 观点归纳类(30):“行业对某争议的主流看法有哪些流派”,没有唯一答案,考归纳能力。
验收方式是不看”报告写得好不好”,只看三件事:引用可打开率(链接是否 200、是否需要登录墙)、引用内容匹配度(点进去是否真的支撑那句话)、数据保真度(数字、单位、年份是否与原文一致)。每条引用人工核对,不抽样。同时记录端到端耗时和 token 成本。
二、120 次提问的成绩单
| 指标 | Gemini DR | OpenAI DR | Perplexity DR | Genspark |
|---|---|---|---|---|
| 引用可打开率 | 78.3% | 81.7% | 85.2% | 72.6% |
| 引用内容匹配度 | 71.4% | 76.9% | 79.8% | 65.1% |
| 数据保真度(数字/单位正确) | 88.6% | 91.2% | 89.7% | 80.4% |
| 市场事实类得分 | 86.1 | 88.4 | 90.2 | 78.9 |
| 多源比对类得分 | 82.7 | 85.3 | 83.6 | 76.2 |
| 技术演进类得分 | 79.4 | 84.1 | 74.8 | 72.3 |
| 观点归纳类得分 | 74.2 | 77.6 | 70.5 | 68.8 |
| 平均端到端耗时 | 9.5 分钟 | 14.2 分钟 | 3.8 分钟 | 6.7 分钟 |
| 单次平均成本 | 约 ¥4.2 | 约 ¥11.6 | 约 ¥1.8 | 约 ¥2.6 |
四个结论:
1. 没有一家的引用可以免检。最好的 Perplexity 引用匹配度 79.8%,意味着每五条引用仍有一条是”链接对但内容不对”——点开是一篇提到过该话题的文章,但它并不支持报告里那句具体的话。这是最危险的一类错误,因为链接能打开,人很容易跳过检查。我们内部现在的规则是:引用必须满足”链接可打开 + 页面内能找到支撑句”两个条件,缺一不可。
2. 耗时和得分不成正比,但也不成反比。OpenAI DR 平均 14.2 分钟最慢,技术演进类得分最高(84.1);Perplexity 3.8 分钟最快,市场事实类 90.2 分反超。慢有慢的理由:OpenAI DR 在长链路问题上真的会去读论文全文,而 Perplexity 更依赖搜索摘要。你要查”某方案三年的变迁”,慢的那个才对;你要查一个市场数字,快的那个就够。
3. 观点归纳类是全员短板,最高分只有 77.6。四个工具在这个类别上都犯了同一个毛病:把”某位作者的观点”写成”行业共识”。我们抽了一篇关于某技术争议的报告,工具归纳出”主流看法是 X”,但实际是五位被访者里两位支持 X、一位反对、两位没表态。工具倾向于给出结构整齐的结论,哪怕原始信源是分裂的。这类报告拿去内部汇报,风险比没用更大。
4. 成本差 6 倍,但错一个数据的代价远超差价。Perplexity 单次 1.8 元、OpenAI 11.6 元,差 6.4 倍。但一次错误的竞品定价数据导致我们错判过一次对手策略,返工成本远不止几百块。我们的选择是按问题类型路由,不是按总成本选。
三、我们的路由方案:按问题类型选工具
| 问题类型 | 首选 | 理由与人工动作 |
|---|---|---|
| 市场数字、规模、增速 | Perplexity DR | 快且事实类得分最高;人工只核对数字本身 |
| 技术方案、论文演进 | OpenAI DR | 唯一会深入读长文的;成本高但值得 |
| 竞品多源比对 | Gemini DR | 长上下文能同时挂多个信源,结构清晰 |
| 观点、争议、无唯一解 | 不用 DR,人自己读 | 全员低于 80 分,工具给不出可信的”共识” |
三条血泪经验,直接可用:
- 要求输出带”置信度标注”。我们的提示词里固定加一句:”对每个结论标注证据强度:强(多个独立信源一致)/ 中(单一信源)/ 弱(推测)。”加上这句之后,不可信结论的误用率下降明显——不是因为工具变准了,是因为我们终于知道哪些该怀疑。
- 报告里引用的原文截图要留档。链接会死、页面会改,我们把关键支撑句截图存证,后期复盘时省了很多扯皮。
- 不要一次问超过三层的问题。“市场规模 → 增速原因 → 对某区域的影响”这种三层追问,工具的中间层最容易编。拆成三次独立提问,引用质量回升 10 个百分点以上。
四、它到底比人快在哪:一个诚实的账
以我们做过的一个真实任务为例:”调研东南亚三国某品类的合规要求差异。”
- 研究员人工:2.5 天,产出 12 页文档,20 条引用全部人工核验,其中 3 条来自行业协会需邮件确认。
- Deep Research + 人工核验:40 分钟出报告,人工核验 26 条引用花 2 小时,补查 4 条本地法规(工具未覆盖),合计约 3 小时,产出 9 页文档。
看起来赢了,但有个前提:任务边界清晰。一旦涉及需要本地知识、行业协会资源或最新未公开政策的问题,工具的优势立刻归零。它快在”把公开信息聚合起来”这一段,不快的恰恰是调研里最费人力的那一段——确认信息到底准不准。
总结
120 次实测的结论:Deep Research 已经是可靠的信息聚合器,但还不是可靠的研究员。引用匹配度 65%–80% 的区间意味着它省的是”找”的时间,不是”信”的时间。按问题类型路由、强制置信度标注、引用双条件核验,这三件事做完,它才是生产力;不做,它就是一份看起来更专业的幻觉生成器。
一个判断:未来一年这个品类会从”谁的报告长”转向”谁的引用可审计”。当所有人都能一键生成一份 20 页报告时,能逐条追溯的报告才值钱。可审计性会是下一代工具的分水岭。
互动提问:你们团队现在怎么核验 AI 报告里的引用?是逐条点开,还是选择性抽查?抽查的比例是多少?
互动提问:有没有哪类调研问题,你试过所有 Deep Research 工具都失败、最后只能自己查的?那类问题有什么共同点?
— IMAI 编辑部 | 2026-10-28