先说一个反直觉的结论:我们去年最该做而没做的一件事,是早点把「AI 生成内容的验收标准」立成一条会拦人的质量门禁,而不是每次出了问题再临时加 prompt。团队下半年上线了 6 类 AI 生成场景——商品文案、营销邮件、客服回复、代码注释、周报摘要、销售跟进邮件——按当时的人工评估口径,每类都「效果不错」。三个月后回抽,同样的口径下有一半场景的可用率掉了一半以上。
问题不在模型变笨,在于我们用一把静态的尺子量一个每周都在变的东西。这篇把我们后来重建评测体系的做法完整写出来:包括分层的评测集怎么切、阈值怎么定、谁有权改阈值、以及为什么「LLM-as-judge 单独用」在我们的场景里几乎无效。文中的数据来自 6 个场景、11 个月、共 4,200 多条样本的实测。
一、为什么静态评测会过期:三次失速的复盘
我们先看三个真实故障,它们的时间点很说明问题:
| 时间 | 场景 | 上线时可用率 | 90 天后 | 诱因 |
|---|---|---|---|---|
| 2025-08 | 营销邮件文案 | 78.3% | 41.6% | 供应商静默升级模型,语气模板漂移 |
| 2025-10 | 商品卖点文案 | 71.2% | 68.9% | 业务侧上新了一批规格复杂的 SKU |
| 2026-01 | 客服售后回复 | 83.5% | 52.4% | 一次促销活动把咨询量推高 4.7 倍,长尾问题占比上升 |
三个故障的共同点:不是模型退化,是分布变了。营销邮件那次我们查得很细,供应商 A/B 期间换了模型的小版本,生成结果在通用语料上「更好看了」,但我们的品牌语气指南里有 11 条硬约束(禁用词、称呼、段落长度、CTA 位置),新版模型触犯了 4 条。静态评测集里没有覆盖这 11 条约束的新样本,所以它一路绿灯。
更麻烦的是客服场景。流量结构变化会改变问题,而问题是评测集假设不会变的。促销前我们的评测集里「物流延迟」类问题占 18%,促销期间真实流量里涨到 43%,而评测集权重没动。于是评测分数还在 80 分徘徊,用户侧满意度已经崩了。
二、评测集分层:把「跑分」拆成四种不同的工作
重建后我们把一个笼统的「评测」拆成四层,各管一件事:
- 雪花集(Snowflake,不可动)。每个场景 60-100 条,业务方与技术方共同选定,涵盖历史故障模式。这层的作用是回归:任何 prompt 改动、模型版本变更、上下文策略调整,全量跑,命中下降超过 2 个百分点直接卡住发布。这层集永远不许为了「让分数好看」而修改,要改必须走变更评审、留档。
- 轮换集(Rotation,周更)。每周从最近真实流量里按分层抽样 200 条,人工标注后入库。作用是感知分布漂移。我们的规则是:新样本里如果有超过 15% 被标注为「现有 prompt 无法覆盖的新模式」,就触发 prompt 评审。
- 对抗集(Adversarial,月更)。专人构造边界样本:省略主语的提问、把条件藏在括号里的规格表、冒充内部人员的钓鱼式请求。这层回答的是「模型的上限在哪」,不反映真实频次,但决定了故障的下限。
- 探针集(Probe,日更,自动化)。不做人工标注,跑固定 30 条模板,只记录行为特征:平均输出长度、禁用词命中、拒答率、结构化字段完整率。这层是熔断器——它不告诉你好不好,只告诉你有事没事。
| 层级 | 规模 | 更新频率 | 单次成本 | 回答的问题 | 失败动作 |
|---|---|---|---|---|---|
| 雪花集 | 60-100 条/场景 | 季度(需评审) | 约 90 分钟人工 | 改动有没有变坏 | 阻断发布 |
| 轮换集 | 200 条/周/场景 | 周 | 约 6 小时人工 | 分布变了没有 | 触发 prompt 评审 |
| 对抗集 | 40-60 条/场景 | 月 | 约 8 小时人工 | 边界能力 | 加入雪花集并修复 |
| 探针集 | 30 条/场景 | 日(自动) | 约 40 秒机器 | 是否异常 | 告警 + 自动降级 |
三、阈值怎么定:两个不同的数字
我们最初犯的错是所有场景共用一条 80 分的发布线。重建后改成「发布线」和「拦截线」分离,并且每个场景单独定:
- 发布线是回归门槛:新版本相对当前线上下降不超过 1.5 个百分点。注意是相对差值,不是绝对值——你不可能在一个已经 92% 的场景上再提升 2 个点,但掉 2 个点很危险。
- 拦截线是绝对红线:可用率低于该场景的 SLA 底线直接下线该场景的 AI 功能,回退到人工流程或上一版本。
| 场景 | 发布线(相对降幅上限) | 拦截线(绝对可用率) | 备注 |
|---|---|---|---|
| 营销邮件文案 | 1.5pp | 55% | 有 11 条品牌硬约束需单独计分 |
| 商品卖点文案 | 1.5pp | 50% | 规格复杂度上升时会自然走低 |
| 客服售后回复 | 1.0pp | 75% | 涉及赔付承诺,最严 |
| 代码注释 | 3.0pp | 40% | 低风险场景,从宽 |
| 周报摘要 | 2.0pp | 45% | 内部场景 |
| 销售跟进邮件 | 1.5pp | 60% | 外发,需合规审核 |
表格里最值得注意的是后三行。按风险定阈值,而不是按场景难度定。代码注释写错了五分钟内就能被发现并改掉,所以放得宽;客服回复一句「我们可以全额退款」说出口就收不回来,所以卡得最死。这个原则听起来废话,但 2025 年我们真的给所有场景统一用了 80 分线——因为「统一好管理」。
四、LLM-as-judge 为什么在我们的场景里不够用
2025 年下半年我们试过用大模型做裁判,理由是快、便宜、和人的相关性「看起来不错」。三个发现:
- 相关性高度依赖评分维度是否可判别。「语气是否符合品牌」这种维度,法官模型和人工的一致率只有 61.4%;换成「是否包含禁用词」「段落是否超过 60 字」这种可程序化判别的,一致率 99.2%。
- 法官会对可读性偏袒生成方。同一个待评输出,我们发现法官模型在被明确告知「这是 AI 生成的」时,均分高 0.31(5 分制)。它偏爱流畅。而这恰好是最容易用表面流畅掩盖内容错误的维度。
- 裁判模型自己换版本时,分数会整体平移。我们记录到一次 0.18 分的整体抬升,没有任何下游改动。这足以让一个 1.5pp 的相对阈值误判。
最后我们定下的混合方案:可程序化判别的维度全部走代码,不可判别的走人工,LLM-as-judge 只用于「预筛」和「排序 candidates」,不用于打分和门禁。人工标注从每周 6 小时降到 3.5 小时,同时把最关键的可用率判定权收回到人。代价是慢,但我们发现被卡住的发布中,事后证明该卡的占 87%——这 3.5 小时买的是「不发生那三个故障」。
总结
静态评测的失败不是「没测」,是「测的世界已经变了」。四层评测集的本质是把不同频率、不同成本的检测手段对应到不同性质的故障:探针集抓异常、雪花集抓回归、轮换集抓漂移、对抗集抓边界。配上分场景的发布线与拦截线,以及「可判别的交给代码、不可判别的交给人」的标注分工,这套体系在 11 个月里拦下了 23 次本会上线的劣化版本。
如果只抄一条:别让评测集为了分数好看而改。那是自己骗自己最便宜的方式。
互动提问:你们的评测集多久没动过了?上一次往里加样本是因为发现了故障,还是因为定期维护?
互动提问:你有没有遇到过模型供应商静默升级后,分数一切正常但业务明显变差的情况?当时是怎么发现的?
— IMAI 编辑部 | 2026-11-08