GraphRAG 实战:2,860 个测试问题,多跳 F1 从 41.3% 到 71.6% 的代价

给一家生物医药客户做知识库问答的第三个月,他们的研究员提了一个测试问题,我们整个组的 RAG 架构在那一天被打了个对折。问题本身很简单:「KRAS G12C 抑制剂和 EGFR 抑制剂在耐药机制上有什么共性?」——注意,IRAK4、MEK、SHOC2 这几个基因在单跳召回的文档里压根不出现。要回答它,你得先知道「耐药」这个概念在哪些信号通路上演,再知道这三条通路在分子层面的汇聚点。

这不是「检索不够准」的问题,这是单跳检索(single-hop)在拓扑上的先天不足:它假设答案就在一段文本里,而真实知识往往要跨越若干次推理才能拼出来。这篇复盘写我们怎么把客户的知识库从纯向量 RAG 改造为 GraphRAG 混合检索:15 周、2,860 个真实测试问题。先给结论:多跳问题(需 ≥2 次实体关联才能回答)的答案 F1 从 41.3% 提到 71.6%,但为此付出的代价是索引构建耗时 9 小时、运维复杂度上一个台阶、单跳问题还轻微退化 2.4 个百分点。

一、为什么单跳 RAG 在多跳问题上必败

我们把 2,860 个测试问题按「需几次实体跳转」分成四类,先看纯向量 RAG 的成绩分布,规律一目了然:

问题类型 占比 纯向量 RAG F1 GraphRAG F1 成本倍数
单跳直答 48.2% 78.4% 76.0% 1.4×
双跳关联 29.7% 52.7% 71.1% 2.1×
多跳推理 15.6% 41.3% 71.6% 3.3×
聚合统计 6.5% 29.0% 68.4% 2.6×

结论很直白:单跳问题用不着图,多跳问题没有图不行,聚合统计类甚至还需要图上的聚合算子。而我们一开始的错误,是想用「调 chunk 大小」「换 embedding 模型」去修多跳问题——这两招我们全试过,双跳问题一共只提了 3.1 个百分点。拓扑缺陷不能靠检索器的参数优化来补。

二、建图:实体抽取的质量是全部成本

我们的图不是本体论图,是从 12,400 篇客户自有文献里抽出来的实体-关系图:实体是基因/靶点/药物/通路/疾病,关系是「作用」「抑制」「耐药」「伴随」等,抽取用大模型加 Prompt 模板加人工校验。这里的坑非常多,说三个最贵的:

  • 实体对齐比实体识别重要十倍。「EGFR」「ErbB-1」「HER1」在你的知识库里 40% 是同一个东西,不把它们合并,图会碎成一盘沙。我们写了一组同义词映射表加后处理对齐,第一次图的模块度从 0.42 提到 0.71。
  • 关系要带证据链。每条边必须回指原文证据句,否则图的自信度只是模型的幻觉。我们实测,去掉证据链后人工核验通过率从 87% 掉到 61%。
  • 抽取模型的幻觉会永久污染图。我们让抽取模型给每条关系输出置信度,低于 0.6 的丢弃。这部分损失了 23% 的召回,但人工维护成本降了一半。

最终图规模:约 31,000 个实体、12 万条关系。构建耗时 9 小时(单机 8 核),此后增量更新单次 40 分钟左右。

三、查询执行:从「向量召回」到「图的局部子图」

查询入口没有变,还是先做查询分解和实体识别,但检索阶段变成了「向量召回 + 图谱多跳扩展 + 融合重排」三步。多跳扩展不是走固定两跳,而是走「有信息增益的跳」:

  1. 种子实体识别:从查询里定位实体,用实体消歧(同名不同物)处理,命中种子 2–4 个。
  2. 受限扩展:图上 BFS 最多 3 跳,每一步按关系权重过滤,把扩展结果以「实体+证据句」的形式拼成检索上下文的一部分。
  3. 图谱模板作为兜底:聚合统计类问题走预置 Cypher 模板,这类问题问的是「有多少 X 满足 Y」,向量 RAG 在这类上必败。

一个具体的收益是可解释性。以前研究员看到答案,只能信或不信;现在可以顺着「这条结论来自哪三条边、哪三篇文献」逐条回查。客户方的研究员明确说,他们最终选型我们的核心理由不是 F1 高 30 个点,而是结论可回溯。

四、代价:如果你要上,先把预算给这三件事

  • 运维成本被严重低估。图索引要重建、要修实体冲突、要处理文献下架后留下的空节点。我们每周花 3–5 小时做图谱巡检,这个人力投入在选型阶段根本没人算过。
  • 多跳不总赢。单跳问题上 GraphRAG 反而退化 2.4 个百分点,原因是扩展引入了更多噪声上下文。所以我们最终做成查询路由器:先判问题跳数预算,再选通道,单跳走纯向量,多跳走混合。路由本身错判的代价约为 4–6 个百分点。
  • 延迟。多跳平均 P95 11.4 秒(纯向量 1.6 秒)。这个延迟在知识库问答里是用户可接受的,但如果同一个后端要支撑实时对话 Agent,就必须做缓存和预计算,否则不可行。

总结

15 周、2,860 个问题。核心结论可以压成一句话:GraphRAG 不是 RAG 的升级版,是另一类问题的解。我们在单跳问题上保持了原来的水平,用图补上了 22% 的多跳问题,代价是索引与运维的复杂性上一个台阶。真正的选型动作不是「要不要上 GraphRAG」,而是先把你自己的问题按跳数分好类——这个分类本身就能帮你砍掉一半不必要的架构复杂度。

互动提问:你们的问题集里多跳问题占多少?我们做完了才发现,业务自己凭感觉估的比例是 33%,实际只有 22%,中间差的那 11 个百分点原本要花三个月去优化。

互动提问:实体对齐你们是人工规则还是模型端到端?我们的同义词表维护到第 3,000 条之后已经成了独立工作量,在考虑用模型做半自动合并又怕失控,想听点实战建议。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-11

发表评论