LLM 结构化输出实测:18,400 次抽取,解析成功 91.3%,四道防线做到 99.7% 还更便宜

去年 Q4 我们给一个金融客户做「财报摘要结构化抽取」的需求:把 60 页 PDF 的财务报表,抽成固定 18 个字段的 JSON,然后灌进下游的自动化定价流程。需求方(也是技术出身)的原话是「现在都有 JSON mode 和 function calling 了,这个应该是十分钟的活」。我们接了,第一周确实十分钟就出了 demo,第十周才上线。

中间那九周多干什么了?这篇复盘讲一件事:「模型答应了输出 JSON」和「这个 JSON 每次都能用」之间隔着一整个工程体系。我们自己攒的真实数据:18,400 次结构化抽取调用,直接解析成功的只有 91.3%,剩下 8.7% 里有三种不同的死法。以及最后那套「四道防线」怎么把可用率做到 99.7%,代价是每 token 多花 3.1%。

一、先把敌人分类:失败的三种形态

我们分析了 1,600 次失败调用(18,400 次里抽 1/10 做人工归因,再放大到全量),失败形态分布如下:

失败形态 占全部调用比 现场还原 下游的感受
格式违规(无法解析) 2.1% JSON 里混了 // 注释;字符串里有未转义的换行;末尾多了逗号 直接抛异常,被皮卡丘咬一口
字段缺失 / 类型偏移 3.9% 该填 revenue 的位置填了 null;amount 有时是 "1,240" 有时是 1240 静默地错,最致命
语义错填(格式全对、值不对) 2.7% 把「营业收入」填进「营业利润」;单位搞混,把万元填成元 没有任何报错,算出来的结果错十倍
成功 91.3% — —

注意第二行和第三行合计 6.6%——这些调用在技术上全部「成功」了:JSON 能解析、结构合法、字段都在。下游系统拿到的是一个干干净净的 JSON,和一坨错数据。我们上线第三周那次定价事故就属于第三类:模型把「营业外收入」的 1.24 亿填进了「净利润」字段,下游据此报了个高价差,被合规团队抓出来。格式校验能拦住第一种,拦不住后两种。

二、为什么 JSON mode 不是万能药

2.1 约束语法不等于约束内容

多数厂商的 JSON mode 承诺的是「输出是语法合法的 JSON」,这个承诺成立(我们的格式违规里,开了 JSON mode 之后的 1.4% 里多数是很边缘的转义问题)。但语法合法只是棋盘的第一行:它保证不了字段出现,更保证不了字段里的值是对的。我们做过一个实验,把三种描述同一个字段的提示词各跑 500 次:「如果找不到请填 null」「如果无法确定请填 null」「不确定时填空字符串」。三者的 null 率分别是 61.2%、44.8%、9.7%——第四种变成了空字符串,而空字符串在后续的 is not None 检查里会静默通过。约束语法是 API 的事,约束语义是 prompt 的事,两者不相通。

2.2 长文档 + 多字段 = 漏填率指数上升

我们还测了一个更接近真实场景的变量:字段数和文档长度。同样一份财报,18 个字段时漏填率 3.9%;当需求方临时加了 6 个衍生字段变成 24 个,漏填率涨到 7.1%。文档从 20 页涨到 60 页,漏填率又从 7.1% 涨到 11.4%。这不是模型能力问题,是注意力预算问题——字段越多、文档越长,每个字段分到的检索资源越薄。好消息是这两件事都有工程解,见下一节。

三、四道防线:从 91.3% 到 99.7%

3.1 防线一:把「抽全部」改成「抽一页」,分片抽取

这一道防线解决上面的长度问题,也是收益最大的一道。我们不再让模型读 60 页抽 18 个字段,而是先把文档按标题切成 25 个片段,让模型只抽与当前片段相关的字段,最后合并。片段级漏填率从 3.9% 降到 1.2%,单次 token 消耗也降了 40%(模型不用把全文塞进上下文)。附带好处是出问题可定位:以前失败要重读整篇,现在直接知道是哪一片塌了。

3.2 防线二:类型与口径的双重归一

合并之后必须做一次跨片段的一致性检查。我们固定做三类归一,全部是确定性代码,不劳模型:

  • 数值归一:"1,240" "1240万" 1.24e3 统一成标准单位,并记录原始字符串备查;
  • 枚举映射:字段的合法值集写死,出现集外值直接标记,绝不自动猜(这条和 MCP 那篇的「不替业务做选择」是同一条边界);
  • 空值语义分离:把「源文档没有此项」「模型找不到」「找到但不确定」区分成 null / missing / low_confidence 三个显式状态。这一条改动单独把下游误判率干掉了 4.2 个百分点——它们以前全被 null 混为一谈。

3.3 防线三:跨字段业务断言

这是抓「语义错填」的唯一可靠手段。语义错填的共性是:每个字段单看都合法,但字段之间的关系不成立。我们给客户写了 11 条断言,举三条最典型的:

assert result.revenue >= result.net_profit          # 净利润不应超过收入
assert result.total_assets.abs() == result.liabilities + result.equity  # 会计恒等式
assert 0 < result.gross_margin < 1                   # 毛利率在 0-1 之间

第三行上线第一周就抓到 3 次毛利率 1.24 的错填(单位搞混)。这十一条断言一共拦下 1.9% 的调用。比例不大,但拦下的每一条都是会算错钱的。而且写断言几乎没有技术门槛,需要的是懂业务的人花两小时把行业常识写下来——这可能是整条链路里投入产出比最高的一环。

3.4 防线四:抽样双跑做置信度筛

最后一道不追求「全对」,追求「知道哪些不可信」。对每次抽取,我们用一个更小更快的模型再抽一遍同字段,逐字段比对:一致的标 high;不一致的标 low 并转人工。双跑让成本上升,所以我们只对金额、比例、日期这三类「错了会出事」的字段开,其余字段单跑。实测双跑抓到了 0.6% 的语义错填(单跑漏掉的),为此付出的额外成本是全链路 token 的 3.1%。

四、四道防线的实测账

方案 可直接采用率 语义错填残留 平均 token 成本(相对)
裸模型 + JSON mode 91.3% 2.7% 1.00
+ 分片抽取 95.8% 2.4% 0.61
+ 类型口径归一 97.6% 2.1% 0.63
+ 跨字段业务断言 98.9% 1.2% 0.63
+ 关键字段双跑 99.7% 0.2% 0.97

最后一行值得说:经历四道防线之后,总 token 成本比裸模型还低 3%。因为分片抽取省下的 40% 覆盖掉了归一、断言和双跑的开销。这是我们最初没预料到的——本来以为做可靠性是要花钱的,结果拆细了反而更便宜。

五、下周就能动手的四件事

  1. 把一次大抽取拆成多次小抽取。这是单点收益最大的一步,还顺手省钱,没有理由不先做。
  2. 把 null 拆成三种状态。改动可能就在你们的消费端,但这一步能消掉大量「静默的错」。
  3. 找一个懂业务的人,写十条跨字段断言。两小时的活,拦下的全是会出事的问题。别让模型自己做这件事——我们试过让模型「自查数据合理性」,它自查 500 次只发现 1 个真问题,同时引入了 3 个假警报。
  4. 对高风险字段上双跑,其余别上。全字段双跑的成本是现在的 2.4 倍,而多抓的那部分错主要集中在那三类字段里,不值。

总结

18,400 次抽取、四道防线、99.7% 的可采用率。如果这篇文章只能留一句话:结构化输出的可靠性不是模型问题,是工程问题,而且它有一套便宜的解法。把大的拆小、把空值分类、把业务常识写成断言、只对高风险字段上双跑——这四步我们实测总共花了一个多月,但把上线后的定价事故从月均 2.1 次降到了 0.1 次。

互动提问:你们的 JSON mode 抽取,是相信 API 保证了语法就完事,还是会在下游再查一遍类型和口径?

互动提问:有没有写过「净利润大于营业收入」这种业务断言?我们靠会计恒等式抓到过 4 次错填,每次都差着十倍八倍,光看字段根本看不出来。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-09

发表评论