AI 生成内容评测体系重建实战:静态评测集三个月就过期,四层架构拦下 23 次劣化版本
上线时可用率 78.3% 的场景,90 天后只剩 41.6%:不是模型退化,是分布变了。拆解四层评测集(雪花/轮换/对抗/探针)、分场景发布线与拦截线,以及 LLM-as-judge 在我们的场景为什么不够用。
上线时可用率 78.3% 的场景,90 天后只剩 41.6%:不是模型退化,是分布变了。拆解四层评测集(雪花/轮换/对抗/探针)、分场景发布线与拦截线,以及 LLM-as-judge 在我们的场景为什么不够用。