AI 生成图检测实测:1,860 张电商素材,精修后只剩 58% 召回,手机直出被误判

我们内部有一套「素材上架前 AI 检测」流程,用了半年才发现它的判断标准全错:它测的是「这张图像有没有被 AI 处理过的痕迹」,而业务真正问的是「这张图像是不是 AI 生成的」。这两者差着一个数量级。这是 1,860 张真实素材的检测复盘,以及我们为什么最后把商用检测器从主流程里撤了下来。

先交代背景。我们是做电商内容中台的,去年开始承接商家的商品图、场景图、短视频素材的上架审核。需求很直接:平台规则要求标注 AI 生成内容,误判会掉商家满意度,漏判有合规风险。于是我们买了当时市面上三家主流检测器,加上一条开源方案,跑真实数据。

一、1,860 张样本与四路检测器

样本构造比模型选择更重要,所以先说这个。1,860 张素材分三类,全部来自 90 天内的真实审核队列,不是 benchmark 数据集:

类别 数量 构成 人工标签方式
人工拍摄 612 商家实拍商品图、棚拍模特图、运镜视频关键帧 调取原始 RAW 与拍摄元数据
AI 全生成 548 Midjourney、FLUX、即梦、可灵、Veo、Runway 生成后未处理 商家主动申报 + 生成记录抽样
人工精修 AI 素材 466 AI 生成后进 Photoshop/醒图做液化、扩图、局部重绘、压码率导出 请设计师逐张回溯源文件
争议样本 234 AI 辅助构思但人工拍摄、AI 超分修复的老照片、手机算法直出 双人仲裁,分歧进第三人

争议样本那一类是最贵的,也是最容易被忽略的。手机直出的 HDR 照片、微信传过的视频、甚至 Lightroom 自动增强过的照片,本质上都经历过「算法成像」,把它们和 Midjourney 出图混在一类里测,得到的任何准确率都是假的。

四路检测方案:A 为商用 API 图像检测,B 为商用 API 视频检测,C 为开源频域模型,D 为一组人工规则(元数据检查 + 反向图搜 + 生成痕迹清单)。判定阈值全部用厂商默认值,除 D 外没有本地调参。

二、核心结果:准确率数字好看,是因为样本不平衡

先说整体数字,再说它为什么骗人。

检测器 总体准确率 人工拍摄误报 AI 全生成召回 精修后召回 争议样本 单张成本
A 商用图检 93.1% 6.8% 96.4% 58.2% 51.3% 判为 AI ¥0.04
B 商用视检 90.7% 11.2% 92.8% 44.6% 62.4% 判为 AI ¥0.31/秒
C 开源频域 81.4% 3.9% 88.1% 31.7% 18.8% 判为 AI 自建 GPU
D 人工规则 76.2% 1.7% 71.3% 26.4% 8.5% 判为 AI 4.2 分钟/张

A 商用图检那个 93.1%,在 PCM 类任务里是不可接受的。拆开看:它在人工拍摄上的误报率只有 6.8%,听起来还行,但把这 6.8% 落到我们每天的单量上,就是每 15 张正常素材里有 1 张被挂起人工复核;而它真正的软肋在「精修后」这一类——548 张里漏掉了 41.8%,这些恰恰是商家最可能用来打擦边球的一类。

「精修后召回崩塌」是最值得所有平台警惕的一栏。466 张 AI 生成后经人工精修的素材,商用图检只抓回 58.2%,开源方案只有 31.7%。我们抽了 30 张漏检样本请检测器提供商的技术支持复盘,对方回复很坦诚:训练分布里「生成后精修」样本占比不足 8%,且精修手段几乎不可枚举——液化、扩图、局部重绘、换背景、压码率,每一种抹掉的痕迹都不一样。这不是模型能力问题,是任务在当前技术路线下的固有上限。

误报集中的三类场景

我们把全部误报样本按源文件逐张翻过,收敛成三个可解释的场景:

  • 二次压缩与平台转码:从微信、抖音保存过的图,JPEG 量化痕迹在频域上和生成痕迹高度相似。这一项上开源频域模型(C)误报最低(3.9%),商用 API 反而最高——商用模型更依赖高频纹理统计,而转码破坏的正是高频纹理。
  • 手机计算摄影:夜景多帧合成、人像模式虚化的像素级统计特征接近生成管线。争议样本里 62.4% 被商用视检判为 AI 的,几乎全是手机算法直出。
  • 专业修图:中性灰磨皮、频率分离、锐化三板斧会抹掉大量生成痕迹。一个反常识的发现:修得越「干净」的图越像 AI 生成的——两者都系统性地去掉了真实传感器噪声,而传感器噪声恰恰是「真实拍摄」最强的指纹。

精修后召回的崩塌是最有价值的一栏。把 466 张漏检样本按精修手段再切一刀,能看清是哪一类修图最能骗过检测器,这直接决定了你要不要为某一类素材单独加人工:

精修手段 样本数 商用图检召回 开源召回 备注
仅调色/滤镜导出 112 74.1% 58.9% 影响最小,多数还能检出
扩图 / 改比例 96 52.1% 26.0% 画面边缘被重新生成,痕迹反而更「新」
液化/磨皮类精修 128 47.7% 22.7% 去掉传感器噪声的同时去掉了生成痕迹
局部重绘(换背景/换元素) 84 41.7% 17.9% 混合区域连人工都难判
多次压缩 + 平台转码 46 35.3% 12.5% 频域证据基本清零

这张表给出一个很直接的运营结论:如果平台的素材库里有大量「扩图 + 换背景」类内容,你的检测器实际上处于半失明状态,必须靠 L1/L2 的证据补。另外,「局部重绘」那 84 张里我们请人工复核,误判率(把真 AI 重绘判为人工)也接近三成——连人类专家在混合区域上都不能稳定判定,这再次说明为什么平台级自动标注必须保守。

三、为什么商检在争议样本上系统性偏向「判 AI」

争议样本那一栏暴露了一个更麻烦的问题:A 和 B 都倾向于把「算法处理过的真实内容」判为 AI,而 D 人工规则几乎不这么做。这不是巧合,是训练目标的产物。

检测器是在「真实照片集 vs 生成图集」上训出来的,这个数据划分对「手机算法直出」这类样本没有位置。模型学到的不是「生成管线的指纹」,而是「不符合传统相机 imaging pipeline 统计特征的程度」。而现代手机的计算摄影,本来就在系统性偏离传统 pipeline。于是越新的手机、越强的算法,越容易被判成 AI。

我们做了一次针对性验证:拿同一台 2019 年旗舰和 2026 年旗舰拍同一静物、同一参数,各 40 张。老旗舰误报 2.5%,新旗舰误报 18.7%。再拿同场景的「专业相机拍摄 + Lightroom 自动增强」对照,误报率 1.2%。结论很刺眼:用生成痕迹反推生成行为,这个前提在移动影像时代已经不成立了。

这件事的业务含义比准确率数字更大。一个把手机直出判成 AI 的检测器,等于在建议平台把用户的日常内容打上 AI 标签。我们算了下,如果按 A 的判定上标注,争议类里大约 12% 的商家日常素材会被错误标注,退款和客诉成本远超合规收益。

四、我们最后采用的组合流程与代价

撤下商检做主判后,我们改成了三层结构,总原则是「只标记高置信生成物,不确定的全部走人工,不做平台级判定」:

层级 手段 判定力 成本/张 兜底责任
L1 元数据与申报 EXIF/XMP 残留、平台申报、商家历史诚信分 召回约 31%,误报近零 ≈0 规则引擎
L2 生成器侧证据 已知生成器输出特征白名单、C2PA 内容凭证、水印检测 召回约 47%,误报 3% 以下 ¥0.02 对接凭证标准
L3 人工抽检 L1/L2 均阴性但风险分高的进人工,争议类全量人工 漏检主防线 4.2 分钟 审核团队

这套结构的代价是成本从 ¥0.04/张的纯 API 方案变成了平均 ¥0.09/张加上约 11% 的人工抽检量;收益是把误判导致的客诉从月均 23 起降到 3 起。我们的判断标准很明确:平台级 AI 标注这种有对外后果的判定,宁可漏,不可错。漏判的代价是合规瑕疵,错判的代价是告诉用户「我们不信任你的手机」。

真正该投入的方向,我们认为是 L2 里的内容凭证(C2PA)和水印而非检测器。理由很简单:检测是统计推断,凭证是生产者在事实层面的声明。当主流生成工具开始内嵌凭证、平台开始校验凭证,「这张是不是 AI 生成的」就从猜谜变成了查证。这一层目前的问题是国内工具支持度低、图片经过微信/抖音转码后凭证链断裂,但这是工程问题,不是原理问题。

总结

1,860 张真实素材的结论可以压缩成三条。一,检测器的总体准确率在样本不平衡下没有意义,要看分类别的误报和召回,尤其是「AI 生成后人工精修」这一类,那里商用检测器召回只有四到六成。二,检测器系统性地把现代手机的算法成像判为 AI 生成,这不是 bug 是原理性偏差,用生成痕迹反推生成行为在移动影像时代已经失效。三,对外后果敏感的判定,组合流程(元数据+凭证白名单+人工抽检)的总成本仍然低于误判成本,而把宝押在更强的检测模型上是错的。

成本结构也要说清楚:单张 API 约 ¥0.04,人工抽检 4.2 分钟一次,按日均 300 次抽检折算,单张边际成本约 ¥0.09。一次错误的平台级标注引发的冻结与赔付,内部计价 ¥40 到 ¥220,所以分层流程的账是算得过来的。

如果你要落地,最小可行的一步是:先把你的素材按「人工拍摄 / 全生成 / 生成后精修 / 算法直出」四类分开统计,每类单独抽 100 张做类别级测试。不拆类别的准确率测试,测的是空气。

互动提问:你们的平台在标注 AI 生成内容时,误判导致的商家/用户客诉多吗?我们靠分层人工把月均客诉从 23 起压到 3 起,想知道别人是怎么平衡误判和漏判的。

互动提问:有没有团队实测过 C2PA 内容凭证在国内内容链路(微信/抖音/小红书转码)里的存活率?我们测下来转一次就断,很想看看是不是我们链路特殊。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-13

发表评论