去年 Q4 我们给一个金融客户做「财报摘要结构化抽取」的需求:把 60 页 PDF 的财务报表,抽成固定 18 个字段的 JSON,然后灌进下游的自动化定价流程。需求方(也是技术出身)的原话是「现在都有 JSON mode 和 function calling 了,这个应该是十分钟的活」。我们接了,第一周确实十分钟就出了 demo,第十周才上线。
中间那九周多干什么了?这篇复盘讲一件事:「模型答应了输出 JSON」和「这个 JSON 每次都能用」之间隔着一整个工程体系。我们自己攒的真实数据:18,400 次结构化抽取调用,直接解析成功的只有 91.3%,剩下 8.7% 里有三种不同的死法。以及最后那套「四道防线」怎么把可用率做到 99.7%,代价是每 token 多花 3.1%。
一、先把敌人分类:失败的三种形态
我们分析了 1,600 次失败调用(18,400 次里抽 1/10 做人工归因,再放大到全量),失败形态分布如下:
| 失败形态 | 占全部调用比 | 现场还原 | 下游的感受 |
|---|---|---|---|
| 格式违规(无法解析) | 2.1% | JSON 里混了 // 注释;字符串里有未转义的换行;末尾多了逗号 |
直接抛异常,被皮卡丘咬一口 |
| 字段缺失 / 类型偏移 | 3.9% | 该填 revenue 的位置填了 null;amount 有时是 "1,240" 有时是 1240 |
静默地错,最致命 |
| 语义错填(格式全对、值不对) | 2.7% | 把「营业收入」填进「营业利润」;单位搞混,把万元填成元 | 没有任何报错,算出来的结果错十倍 |
| 成功 | 91.3% | — | — |
注意第二行和第三行合计 6.6%——这些调用在技术上全部「成功」了:JSON 能解析、结构合法、字段都在。下游系统拿到的是一个干干净净的 JSON,和一坨错数据。我们上线第三周那次定价事故就属于第三类:模型把「营业外收入」的 1.24 亿填进了「净利润」字段,下游据此报了个高价差,被合规团队抓出来。格式校验能拦住第一种,拦不住后两种。
二、为什么 JSON mode 不是万能药
2.1 约束语法不等于约束内容
多数厂商的 JSON mode 承诺的是「输出是语法合法的 JSON」,这个承诺成立(我们的格式违规里,开了 JSON mode 之后的 1.4% 里多数是很边缘的转义问题)。但语法合法只是棋盘的第一行:它保证不了字段出现,更保证不了字段里的值是对的。我们做过一个实验,把三种描述同一个字段的提示词各跑 500 次:「如果找不到请填 null」「如果无法确定请填 null」「不确定时填空字符串」。三者的 null 率分别是 61.2%、44.8%、9.7%——第四种变成了空字符串,而空字符串在后续的 is not None 检查里会静默通过。约束语法是 API 的事,约束语义是 prompt 的事,两者不相通。
2.2 长文档 + 多字段 = 漏填率指数上升
我们还测了一个更接近真实场景的变量:字段数和文档长度。同样一份财报,18 个字段时漏填率 3.9%;当需求方临时加了 6 个衍生字段变成 24 个,漏填率涨到 7.1%。文档从 20 页涨到 60 页,漏填率又从 7.1% 涨到 11.4%。这不是模型能力问题,是注意力预算问题——字段越多、文档越长,每个字段分到的检索资源越薄。好消息是这两件事都有工程解,见下一节。
三、四道防线:从 91.3% 到 99.7%
3.1 防线一:把「抽全部」改成「抽一页」,分片抽取
这一道防线解决上面的长度问题,也是收益最大的一道。我们不再让模型读 60 页抽 18 个字段,而是先把文档按标题切成 25 个片段,让模型只抽与当前片段相关的字段,最后合并。片段级漏填率从 3.9% 降到 1.2%,单次 token 消耗也降了 40%(模型不用把全文塞进上下文)。附带好处是出问题可定位:以前失败要重读整篇,现在直接知道是哪一片塌了。
3.2 防线二:类型与口径的双重归一
合并之后必须做一次跨片段的一致性检查。我们固定做三类归一,全部是确定性代码,不劳模型:
- 数值归一:
"1,240""1240万"1.24e3统一成标准单位,并记录原始字符串备查; - 枚举映射:字段的合法值集写死,出现集外值直接标记,绝不自动猜(这条和 MCP 那篇的「不替业务做选择」是同一条边界);
- 空值语义分离:把「源文档没有此项」「模型找不到」「找到但不确定」区分成
null/missing/low_confidence三个显式状态。这一条改动单独把下游误判率干掉了 4.2 个百分点——它们以前全被null混为一谈。
3.3 防线三:跨字段业务断言
这是抓「语义错填」的唯一可靠手段。语义错填的共性是:每个字段单看都合法,但字段之间的关系不成立。我们给客户写了 11 条断言,举三条最典型的:
assert result.revenue >= result.net_profit # 净利润不应超过收入 assert result.total_assets.abs() == result.liabilities + result.equity # 会计恒等式 assert 0 < result.gross_margin < 1 # 毛利率在 0-1 之间
第三行上线第一周就抓到 3 次毛利率 1.24 的错填(单位搞混)。这十一条断言一共拦下 1.9% 的调用。比例不大,但拦下的每一条都是会算错钱的。而且写断言几乎没有技术门槛,需要的是懂业务的人花两小时把行业常识写下来——这可能是整条链路里投入产出比最高的一环。
3.4 防线四:抽样双跑做置信度筛
最后一道不追求「全对」,追求「知道哪些不可信」。对每次抽取,我们用一个更小更快的模型再抽一遍同字段,逐字段比对:一致的标 high;不一致的标 low 并转人工。双跑让成本上升,所以我们只对金额、比例、日期这三类「错了会出事」的字段开,其余字段单跑。实测双跑抓到了 0.6% 的语义错填(单跑漏掉的),为此付出的额外成本是全链路 token 的 3.1%。
四、四道防线的实测账
| 方案 | 可直接采用率 | 语义错填残留 | 平均 token 成本(相对) |
|---|---|---|---|
| 裸模型 + JSON mode | 91.3% | 2.7% | 1.00 |
| + 分片抽取 | 95.8% | 2.4% | 0.61 |
| + 类型口径归一 | 97.6% | 2.1% | 0.63 |
| + 跨字段业务断言 | 98.9% | 1.2% | 0.63 |
| + 关键字段双跑 | 99.7% | 0.2% | 0.97 |
最后一行值得说:经历四道防线之后,总 token 成本比裸模型还低 3%。因为分片抽取省下的 40% 覆盖掉了归一、断言和双跑的开销。这是我们最初没预料到的——本来以为做可靠性是要花钱的,结果拆细了反而更便宜。
五、下周就能动手的四件事
- 把一次大抽取拆成多次小抽取。这是单点收益最大的一步,还顺手省钱,没有理由不先做。
- 把 null 拆成三种状态。改动可能就在你们的消费端,但这一步能消掉大量「静默的错」。
- 找一个懂业务的人,写十条跨字段断言。两小时的活,拦下的全是会出事的问题。别让模型自己做这件事——我们试过让模型「自查数据合理性」,它自查 500 次只发现 1 个真问题,同时引入了 3 个假警报。
- 对高风险字段上双跑,其余别上。全字段双跑的成本是现在的 2.4 倍,而多抓的那部分错主要集中在那三类字段里,不值。
总结
18,400 次抽取、四道防线、99.7% 的可采用率。如果这篇文章只能留一句话:结构化输出的可靠性不是模型问题,是工程问题,而且它有一套便宜的解法。把大的拆小、把空值分类、把业务常识写成断言、只对高风险字段上双跑——这四步我们实测总共花了一个多月,但把上线后的定价事故从月均 2.1 次降到了 0.1 次。
互动提问:你们的 JSON mode 抽取,是相信 API 保证了语法就完事,还是会在下游再查一遍类型和口径?
互动提问:有没有写过「净利润大于营业收入」这种业务断言?我们靠会计恒等式抓到过 4 次错填,每次都差着十倍八倍,光看字段根本看不出来。
— IMAI 编辑部 | 2026-11-09