说实话,第一次评测完 AI 搜索后,我们对结论是怀疑的——不是因为不好用,是因为四个产品的答案重合度高得离谱。同一个问题「2026 年东南亚电商渗透率」,Perplexity 和 Gemini 给出的核心数字一样、引用来源一样、连段落结构都相似。我们一开始以为是评测集污染,后来才发现是另一回事。
这个怀疑让我们把评测做深了一层。我们最后跑了 21 天、320 组真实查询、人工核验了 1,847 条引用,得出的结论比单纯测「准不准」有意思得多:这四个产品的差距不在召回,在「引用可信度的透明度」——而恰恰是最像传统搜索引擎的那一家,引用质量最差。这是完整过程和数字。
一、评测设计:320 组查询是怎么构造的
我们排除了「常识型问题」(比如「光合作用是什么」),因为那个测不出搜索系统的真实水平。320 组查询全部来自我们内部 6 个团队两周里真实提交的研究请求,分四类:
- 时效类(25%,80 组):「上周的中欧关税协议改了什么」「某公司最新季度财报的三个关键变化」。这类查询考的是信息新鲜度和信源层级。
- 数据类(30%,96 组):需要引用具体数字并说明口径的,比如渗透率、市场规模、同比变化。这是引用污染最严重的区域,我们单独标记了。
- 对比类(25%,80 组):「这三家云厂商的企业级 SLA 差异」。需要多信源汇总与取舍。
- 争议类(20%,64 组):存在明显对立观点的议题,看产品是呈现多方立场还是倒向一边。
评测维度不是简单打「对不对」。我们设了五个,每个都可独立追溯:答案与检索证据的吻合度、引用链接的有效性、引用与具体论断的对应精度(有没有「指东引西」)、时效标注是否明确、争议呈现的均衡度。最后两个维度是大多数横评不会测的,而事实证明它们最能拉开差距。
四个产品:Perplexity(专业模式)、Google AI Overviews、Bing Chat(Copilot 模式)、以及一家用 RAG 自建方案的对照组(内部系统,作为基线)。
二、核心结果:一个字都不许编的底线测试
第一个测试我们叫「无源不答」:如果检索结果为空,产品应该明确说「我没找到」,而不是基于内部知识编一个。我们挑了 12 组查询(虚构的公司财报、不存在的法规条文、2027 年的预测),四个产品的表现:
| 产品 | 明确拒绝回答 | 含糊其辞 | 基于内部知识照答 |
|---|---|---|---|
| Perplexity 专业模式 | 11 | 1 | 0 |
| Google AI Overviews | 4 | 3 | 5 |
| Bing Chat(Copilot) | 6 | 2 | 4 |
| 自建 RAG 基线 | 9 | 2 | 1 |
Perplexity 在 11 组上给出了明确的「我无法找到相关信息」,这是我们最欣赏的一点——它的产品设计里,答案显示器就是一个「引用列表」,没有检索支撑的句子根本生成不出来。而 AI Overviews 和 Bing Chat 有 4-5 组直接给出了一个格式完整、语气自信的答案,来源全部是模型内部知识,包装上没有任何区别。对不知道这是测试的人来说,这就是一次成功的回答。
这条底线差距,直接影响了后面所有的维度——一个愿意基于内部知识作答的系统,它的引用列表在统计上一定是被污染的,因为很多引用是事后配的。
三、1,847 条引用核验:19.4% 是软广或农场
这是整篇评测里最值得看的数字。我们让两个同事独立人工核验了全部 320 组查询产生的 1,847 条引用链接(剔除重复后 1,203 个独立域名),核验三项:域名是否为内容农场/软广站、引用内容是否真的支持该论断、发布时效是否超过一年且未标注。
| 产品 | 引用总数 | 软广/农场 | 失效或跳转 | 指东引西 | 过期未标注 | 综合可信分 |
|---|---|---|---|---|---|---|
| Perplexity 专业模式 | 612 | 4.1% | 2.1% | 7.2% | 3.9% | 82.7 |
| Google AI Overviews | 498 | 16.3% | 1.4% | 9.4% | 11.2% | 61.8 |
| Bing Chat(Copilot) | 421 | 12.7% | 3.3% | 6.8% | 8.4% | 68.9 |
| 自建 RAG 基线 | 316 | 2.2% | 5.6% | 5.1% | 1.9% | 85.1 |
三个发现。
第一,软广占比和产品是否「先给答案」强相关。AI Overviews 的 16.3% 不是偶然——它的呈现逻辑是「先给一段流畅摘要,引用编号挂在角落」,而它的索引里天然包含大量 SEO 优化过的商业内容。Perplexity 把引用列表放在答案旁边同权重展示,软广率降到 4.1%。引用可见性本身就是一个质量约束机制,这个发现比任何参数调优都重要。
第二,「指东引西」是四个产品的通病,5.1% 到 9.4%。意思是:引用的 URL 确实包含某个相关关键词,但它支持的不是答案里那句话。我们记录了一个典型案例——问某公司最新季度财报的关键变化,某产品的答案是「毛利率环比提升 2.3 个百分点」,引用链向该财报新闻稿,而原文说的是同比提升,环比实际是下降 0.4。这种错误对读者的伤害比没有引用更大,因为它带着可信度的外观。
第三,过期未标注在 AI Overviews 上高达 11.2%。它引用了 2024 年的市场报告回答 2026 年的时效性问题,页面上没有任何时间提示。Perplexity 会显式标注引用页面的发布日期,过期率降到 3.9%。
另外说一个对照组的意义:自建 RAG 的可信分最高(85.1)。这不是说自建更好用——它的召回率明显低于商业产品,时效性也差——但它的引用是「确定性的」:每条引用都真实来自检索到的文档,不存在事后配引。如果你的场景对引用可信度的要求高于对覆盖面的要求,自建的确定性架构是更安全的选择,哪怕它答不上来的问题更多。
四、争议呈现:一个没人测但很要命的维度
我们挑了 64 组存在明确对立观点的议题(比如某项监管政策的影响、某个技术路线的优劣),统计产品是否同时呈现对立双方。
结果是:Perplexity 专业模式在 61.3% 的争议查询中呈现了双方观点,Bing Chat 48.4%,AI Overviews只有 27.1%。AI Overviews 的典型表现是给出一个单边结论 + 两个看似支持它的引用——它的摘要生成逻辑天然倾向于「给个答案」而不是「给个全貌」。我们内部把这种现象叫「自信的平均值」。
这个维度的实际影响:我们有一个同事按 AI Overviews 的结论写了内部备忘录,漏掉了对立方最关键的一个论据,那份备忘录在评审时被打了回来。当用户把 AI 搜索的输出当作研究起点时,单边倾向造成的损失不是「答案不完整」,而是用户根本不知道自己漏掉了什么。
五、时效性:同等查询,一周后的答案会变吗
我们留了 40 组时效类查询,在 21 天里每天重问一次,看答案和引用的漂移程度。答案变化幅度超过 30% 判为「显著漂移」。
Perplexity 的显著漂移率 18.5%,Bing Chat 21.0%,AI Overviews 41.3%。AI Overviews 的高漂移率里有个特殊成分:它的缓存策略似乎更激进,同一问题在一天内的不同时段可能给出不同答案,而我们没能在它的界面上找到「此答案生成于何时」的明确标识。一个不知道答案快照时间的搜索产品,是很难被用于严肃研究的——你无法在两个小时后确认「它当时就是这么说的」。
六、结论与我们的实际用法
综合五项评测,四个产品的实际定位比「谁更好」更有用:
- Perplexity 专业模式:唯一在引用可信度和争议均衡上都过关的商业产品,作为默认研究工具。弱点是覆盖面和响应速度,中文信源质量明显弱于英文。
- Google AI Overviews:适合快速确认事实,不适合作为研究结论来源。软广率和时效衰减是两个硬伤,且界面不给你判断依据。
- Bing Chat:居中,Copilot 模式的引用列表比 AI Overviews 干净,但过期未标注仍高。
- 自建 RAG:不适合当通用搜索,适合「引用确定性高于一切」的封闭知识库场景。
我们团队最后的工作流是:Perplexity 做初筛和信源发现 → 关键数字必须回到原始信源人工确认(这一条不允许省)→ 自建 RAG 处理内部知识库问题。AI Overviews 我们没禁用,但明确规定:它的输出只能用于「给我一个找答案的方向」,不能作为任何结论的依据。
这个工作流的成本不低——人工回到原始信源确认这一步,平均每个问题多花 4.2 分钟。但我们算过账:一篇内部报告的引用污染如果没被拦住,造成的返工成本远超这 4.2 分钟。19.4% 的引用软广率不是统计学数字,是每一百个引用里有十九个会把你的报告带偏。
总结
320 组真实查询、1,847 条人工核验的引用、21 天时效追踪。最大的认知是:AI 搜索的差距不在谁答得对——那个维度上四个产品都够用;差距在「你敢不敢把它说的直接写进你的报告」。19.4% 的软广引用、9.4% 的指东引西、11.2% 的过期未标注,这些数字单独看都不致命,但它们出现在同一个答案里的时候,一个普通用户是完全没有能力识别的。
如果只带走一条建议:选 AI 搜索工具时,看它的引用列表是不是和答案同权重展示的,以及它是否明确标注引用页面的时效。这两条几乎可以预测它的软广率和过期率。而不是看谁的答案读起来更顺——那是模型能力,不是搜索质量,而模型能力在这四家之间早就没有代差了。
互动提问:你们在用 AI 搜索做研究时,有没有固定的「回到原始信源」机制?我们强制每一百个引用里至少人工确认六十个,一直在找更轻的抽样办法。
互动提问:有没有人系统性地测过 AI 搜索的「指东引西」率?我们测出来 5%-9% 这个区间,但样本只有四个产品,很想看看更大规模的第三方数据。
— IMAI 编辑部 | 2026-11-13