AI 生成内容评测体系重建实战:静态评测集三个月就过期,四层架构拦下 23 次劣化版本

先说一个反直觉的结论:我们去年最该做而没做的一件事,是早点把「AI 生成内容的验收标准」立成一条会拦人的质量门禁,而不是每次出了问题再临时加 prompt。团队下半年上线了 6 类 AI 生成场景——商品文案、营销邮件、客服回复、代码注释、周报摘要、销售跟进邮件——按当时的人工评估口径,每类都「效果不错」。三个月后回抽,同样的口径下有一半场景的可用率掉了一半以上。

问题不在模型变笨,在于我们用一把静态的尺子量一个每周都在变的东西。这篇把我们后来重建评测体系的做法完整写出来:包括分层的评测集怎么切、阈值怎么定、谁有权改阈值、以及为什么「LLM-as-judge 单独用」在我们的场景里几乎无效。文中的数据来自 6 个场景、11 个月、共 4,200 多条样本的实测。

一、为什么静态评测会过期:三次失速的复盘

我们先看三个真实故障,它们的时间点很说明问题:

时间 场景 上线时可用率 90 天后 诱因
2025-08 营销邮件文案 78.3% 41.6% 供应商静默升级模型,语气模板漂移
2025-10 商品卖点文案 71.2% 68.9% 业务侧上新了一批规格复杂的 SKU
2026-01 客服售后回复 83.5% 52.4% 一次促销活动把咨询量推高 4.7 倍,长尾问题占比上升

三个故障的共同点:不是模型退化,是分布变了。营销邮件那次我们查得很细,供应商 A/B 期间换了模型的小版本,生成结果在通用语料上「更好看了」,但我们的品牌语气指南里有 11 条硬约束(禁用词、称呼、段落长度、CTA 位置),新版模型触犯了 4 条。静态评测集里没有覆盖这 11 条约束的新样本,所以它一路绿灯。

更麻烦的是客服场景。流量结构变化会改变问题,而问题是评测集假设不会变的。促销前我们的评测集里「物流延迟」类问题占 18%,促销期间真实流量里涨到 43%,而评测集权重没动。于是评测分数还在 80 分徘徊,用户侧满意度已经崩了。

二、评测集分层:把「跑分」拆成四种不同的工作

重建后我们把一个笼统的「评测」拆成四层,各管一件事:

  1. 雪花集(Snowflake,不可动)。每个场景 60-100 条,业务方与技术方共同选定,涵盖历史故障模式。这层的作用是回归:任何 prompt 改动、模型版本变更、上下文策略调整,全量跑,命中下降超过 2 个百分点直接卡住发布。这层集永远不许为了「让分数好看」而修改,要改必须走变更评审、留档。
  2. 轮换集(Rotation,周更)。每周从最近真实流量里按分层抽样 200 条,人工标注后入库。作用是感知分布漂移。我们的规则是:新样本里如果有超过 15% 被标注为「现有 prompt 无法覆盖的新模式」,就触发 prompt 评审。
  3. 对抗集(Adversarial,月更)。专人构造边界样本:省略主语的提问、把条件藏在括号里的规格表、冒充内部人员的钓鱼式请求。这层回答的是「模型的上限在哪」,不反映真实频次,但决定了故障的下限。
  4. 探针集(Probe,日更,自动化)。不做人工标注,跑固定 30 条模板,只记录行为特征:平均输出长度、禁用词命中、拒答率、结构化字段完整率。这层是熔断器——它不告诉你好不好,只告诉你有事没事。
层级 规模 更新频率 单次成本 回答的问题 失败动作
雪花集 60-100 条/场景 季度(需评审) 约 90 分钟人工 改动有没有变坏 阻断发布
轮换集 200 条/周/场景 周 约 6 小时人工 分布变了没有 触发 prompt 评审
对抗集 40-60 条/场景 月 约 8 小时人工 边界能力 加入雪花集并修复
探针集 30 条/场景 日(自动) 约 40 秒机器 是否异常 告警 + 自动降级

三、阈值怎么定:两个不同的数字

我们最初犯的错是所有场景共用一条 80 分的发布线。重建后改成「发布线」和「拦截线」分离,并且每个场景单独定:

  • 发布线是回归门槛:新版本相对当前线上下降不超过 1.5 个百分点。注意是相对差值,不是绝对值——你不可能在一个已经 92% 的场景上再提升 2 个点,但掉 2 个点很危险。
  • 拦截线是绝对红线:可用率低于该场景的 SLA 底线直接下线该场景的 AI 功能,回退到人工流程或上一版本。
场景 发布线(相对降幅上限) 拦截线(绝对可用率) 备注
营销邮件文案 1.5pp 55% 有 11 条品牌硬约束需单独计分
商品卖点文案 1.5pp 50% 规格复杂度上升时会自然走低
客服售后回复 1.0pp 75% 涉及赔付承诺,最严
代码注释 3.0pp 40% 低风险场景,从宽
周报摘要 2.0pp 45% 内部场景
销售跟进邮件 1.5pp 60% 外发,需合规审核

表格里最值得注意的是后三行。按风险定阈值,而不是按场景难度定。代码注释写错了五分钟内就能被发现并改掉,所以放得宽;客服回复一句「我们可以全额退款」说出口就收不回来,所以卡得最死。这个原则听起来废话,但 2025 年我们真的给所有场景统一用了 80 分线——因为「统一好管理」。

四、LLM-as-judge 为什么在我们的场景里不够用

2025 年下半年我们试过用大模型做裁判,理由是快、便宜、和人的相关性「看起来不错」。三个发现:

  • 相关性高度依赖评分维度是否可判别。「语气是否符合品牌」这种维度,法官模型和人工的一致率只有 61.4%;换成「是否包含禁用词」「段落是否超过 60 字」这种可程序化判别的,一致率 99.2%。
  • 法官会对可读性偏袒生成方。同一个待评输出,我们发现法官模型在被明确告知「这是 AI 生成的」时,均分高 0.31(5 分制)。它偏爱流畅。而这恰好是最容易用表面流畅掩盖内容错误的维度。
  • 裁判模型自己换版本时,分数会整体平移。我们记录到一次 0.18 分的整体抬升,没有任何下游改动。这足以让一个 1.5pp 的相对阈值误判。

最后我们定下的混合方案:可程序化判别的维度全部走代码,不可判别的走人工,LLM-as-judge 只用于「预筛」和「排序 candidates」,不用于打分和门禁。人工标注从每周 6 小时降到 3.5 小时,同时把最关键的可用率判定权收回到人。代价是慢,但我们发现被卡住的发布中,事后证明该卡的占 87%——这 3.5 小时买的是「不发生那三个故障」。

总结

静态评测的失败不是「没测」,是「测的世界已经变了」。四层评测集的本质是把不同频率、不同成本的检测手段对应到不同性质的故障:探针集抓异常、雪花集抓回归、轮换集抓漂移、对抗集抓边界。配上分场景的发布线与拦截线,以及「可判别的交给代码、不可判别的交给人」的标注分工,这套体系在 11 个月里拦下了 23 次本会上线的劣化版本。

如果只抄一条:别让评测集为了分数好看而改。那是自己骗自己最便宜的方式。

互动提问:你们的评测集多久没动过了?上一次往里加样本是因为发现了故障,还是因为定期维护?

互动提问:你有没有遇到过模型供应商静默升级后,分数一切正常但业务明显变差的情况?当时是怎么发现的?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-08

发表评论