我们内部有一套「素材上架前 AI 检测」流程,用了半年才发现它的判断标准全错:它测的是「这张图像有没有被 AI 处理过的痕迹」,而业务真正问的是「这张图像是不是 AI 生成的」。这两者差着一个数量级。这是 1,860 张真实素材的检测复盘,以及我们为什么最后把商用检测器从主流程里撤了下来。
先交代背景。我们是做电商内容中台的,去年开始承接商家的商品图、场景图、短视频素材的上架审核。需求很直接:平台规则要求标注 AI 生成内容,误判会掉商家满意度,漏判有合规风险。于是我们买了当时市面上三家主流检测器,加上一条开源方案,跑真实数据。
一、1,860 张样本与四路检测器
样本构造比模型选择更重要,所以先说这个。1,860 张素材分三类,全部来自 90 天内的真实审核队列,不是 benchmark 数据集:
| 类别 | 数量 | 构成 | 人工标签方式 |
|---|---|---|---|
| 人工拍摄 | 612 | 商家实拍商品图、棚拍模特图、运镜视频关键帧 | 调取原始 RAW 与拍摄元数据 |
| AI 全生成 | 548 | Midjourney、FLUX、即梦、可灵、Veo、Runway 生成后未处理 | 商家主动申报 + 生成记录抽样 |
| 人工精修 AI 素材 | 466 | AI 生成后进 Photoshop/醒图做液化、扩图、局部重绘、压码率导出 | 请设计师逐张回溯源文件 |
| 争议样本 | 234 | AI 辅助构思但人工拍摄、AI 超分修复的老照片、手机算法直出 | 双人仲裁,分歧进第三人 |
争议样本那一类是最贵的,也是最容易被忽略的。手机直出的 HDR 照片、微信传过的视频、甚至 Lightroom 自动增强过的照片,本质上都经历过「算法成像」,把它们和 Midjourney 出图混在一类里测,得到的任何准确率都是假的。
四路检测方案:A 为商用 API 图像检测,B 为商用 API 视频检测,C 为开源频域模型,D 为一组人工规则(元数据检查 + 反向图搜 + 生成痕迹清单)。判定阈值全部用厂商默认值,除 D 外没有本地调参。
二、核心结果:准确率数字好看,是因为样本不平衡
先说整体数字,再说它为什么骗人。
| 检测器 | 总体准确率 | 人工拍摄误报 | AI 全生成召回 | 精修后召回 | 争议样本 | 单张成本 |
|---|---|---|---|---|---|---|
| A 商用图检 | 93.1% | 6.8% | 96.4% | 58.2% | 51.3% 判为 AI | ¥0.04 |
| B 商用视检 | 90.7% | 11.2% | 92.8% | 44.6% | 62.4% 判为 AI | ¥0.31/秒 |
| C 开源频域 | 81.4% | 3.9% | 88.1% | 31.7% | 18.8% 判为 AI | 自建 GPU |
| D 人工规则 | 76.2% | 1.7% | 71.3% | 26.4% | 8.5% 判为 AI | 4.2 分钟/张 |
A 商用图检那个 93.1%,在 PCM 类任务里是不可接受的。拆开看:它在人工拍摄上的误报率只有 6.8%,听起来还行,但把这 6.8% 落到我们每天的单量上,就是每 15 张正常素材里有 1 张被挂起人工复核;而它真正的软肋在「精修后」这一类——548 张里漏掉了 41.8%,这些恰恰是商家最可能用来打擦边球的一类。
「精修后召回崩塌」是最值得所有平台警惕的一栏。466 张 AI 生成后经人工精修的素材,商用图检只抓回 58.2%,开源方案只有 31.7%。我们抽了 30 张漏检样本请检测器提供商的技术支持复盘,对方回复很坦诚:训练分布里「生成后精修」样本占比不足 8%,且精修手段几乎不可枚举——液化、扩图、局部重绘、换背景、压码率,每一种抹掉的痕迹都不一样。这不是模型能力问题,是任务在当前技术路线下的固有上限。
误报集中的三类场景
我们把全部误报样本按源文件逐张翻过,收敛成三个可解释的场景:
- 二次压缩与平台转码:从微信、抖音保存过的图,JPEG 量化痕迹在频域上和生成痕迹高度相似。这一项上开源频域模型(C)误报最低(3.9%),商用 API 反而最高——商用模型更依赖高频纹理统计,而转码破坏的正是高频纹理。
- 手机计算摄影:夜景多帧合成、人像模式虚化的像素级统计特征接近生成管线。争议样本里 62.4% 被商用视检判为 AI 的,几乎全是手机算法直出。
- 专业修图:中性灰磨皮、频率分离、锐化三板斧会抹掉大量生成痕迹。一个反常识的发现:修得越「干净」的图越像 AI 生成的——两者都系统性地去掉了真实传感器噪声,而传感器噪声恰恰是「真实拍摄」最强的指纹。
精修后召回的崩塌是最有价值的一栏。把 466 张漏检样本按精修手段再切一刀,能看清是哪一类修图最能骗过检测器,这直接决定了你要不要为某一类素材单独加人工:
| 精修手段 | 样本数 | 商用图检召回 | 开源召回 | 备注 |
|---|---|---|---|---|
| 仅调色/滤镜导出 | 112 | 74.1% | 58.9% | 影响最小,多数还能检出 |
| 扩图 / 改比例 | 96 | 52.1% | 26.0% | 画面边缘被重新生成,痕迹反而更「新」 |
| 液化/磨皮类精修 | 128 | 47.7% | 22.7% | 去掉传感器噪声的同时去掉了生成痕迹 |
| 局部重绘(换背景/换元素) | 84 | 41.7% | 17.9% | 混合区域连人工都难判 |
| 多次压缩 + 平台转码 | 46 | 35.3% | 12.5% | 频域证据基本清零 |
这张表给出一个很直接的运营结论:如果平台的素材库里有大量「扩图 + 换背景」类内容,你的检测器实际上处于半失明状态,必须靠 L1/L2 的证据补。另外,「局部重绘」那 84 张里我们请人工复核,误判率(把真 AI 重绘判为人工)也接近三成——连人类专家在混合区域上都不能稳定判定,这再次说明为什么平台级自动标注必须保守。
三、为什么商检在争议样本上系统性偏向「判 AI」
争议样本那一栏暴露了一个更麻烦的问题:A 和 B 都倾向于把「算法处理过的真实内容」判为 AI,而 D 人工规则几乎不这么做。这不是巧合,是训练目标的产物。
检测器是在「真实照片集 vs 生成图集」上训出来的,这个数据划分对「手机算法直出」这类样本没有位置。模型学到的不是「生成管线的指纹」,而是「不符合传统相机 imaging pipeline 统计特征的程度」。而现代手机的计算摄影,本来就在系统性偏离传统 pipeline。于是越新的手机、越强的算法,越容易被判成 AI。
我们做了一次针对性验证:拿同一台 2019 年旗舰和 2026 年旗舰拍同一静物、同一参数,各 40 张。老旗舰误报 2.5%,新旗舰误报 18.7%。再拿同场景的「专业相机拍摄 + Lightroom 自动增强」对照,误报率 1.2%。结论很刺眼:用生成痕迹反推生成行为,这个前提在移动影像时代已经不成立了。
这件事的业务含义比准确率数字更大。一个把手机直出判成 AI 的检测器,等于在建议平台把用户的日常内容打上 AI 标签。我们算了下,如果按 A 的判定上标注,争议类里大约 12% 的商家日常素材会被错误标注,退款和客诉成本远超合规收益。
四、我们最后采用的组合流程与代价
撤下商检做主判后,我们改成了三层结构,总原则是「只标记高置信生成物,不确定的全部走人工,不做平台级判定」:
| 层级 | 手段 | 判定力 | 成本/张 | 兜底责任 |
|---|---|---|---|---|
| L1 元数据与申报 | EXIF/XMP 残留、平台申报、商家历史诚信分 | 召回约 31%,误报近零 | ≈0 | 规则引擎 |
| L2 生成器侧证据 | 已知生成器输出特征白名单、C2PA 内容凭证、水印检测 | 召回约 47%,误报 3% 以下 | ¥0.02 | 对接凭证标准 |
| L3 人工抽检 | L1/L2 均阴性但风险分高的进人工,争议类全量人工 | 漏检主防线 | 4.2 分钟 | 审核团队 |
这套结构的代价是成本从 ¥0.04/张的纯 API 方案变成了平均 ¥0.09/张加上约 11% 的人工抽检量;收益是把误判导致的客诉从月均 23 起降到 3 起。我们的判断标准很明确:平台级 AI 标注这种有对外后果的判定,宁可漏,不可错。漏判的代价是合规瑕疵,错判的代价是告诉用户「我们不信任你的手机」。
真正该投入的方向,我们认为是 L2 里的内容凭证(C2PA)和水印而非检测器。理由很简单:检测是统计推断,凭证是生产者在事实层面的声明。当主流生成工具开始内嵌凭证、平台开始校验凭证,「这张是不是 AI 生成的」就从猜谜变成了查证。这一层目前的问题是国内工具支持度低、图片经过微信/抖音转码后凭证链断裂,但这是工程问题,不是原理问题。
总结
1,860 张真实素材的结论可以压缩成三条。一,检测器的总体准确率在样本不平衡下没有意义,要看分类别的误报和召回,尤其是「AI 生成后人工精修」这一类,那里商用检测器召回只有四到六成。二,检测器系统性地把现代手机的算法成像判为 AI 生成,这不是 bug 是原理性偏差,用生成痕迹反推生成行为在移动影像时代已经失效。三,对外后果敏感的判定,组合流程(元数据+凭证白名单+人工抽检)的总成本仍然低于误判成本,而把宝押在更强的检测模型上是错的。
成本结构也要说清楚:单张 API 约 ¥0.04,人工抽检 4.2 分钟一次,按日均 300 次抽检折算,单张边际成本约 ¥0.09。一次错误的平台级标注引发的冻结与赔付,内部计价 ¥40 到 ¥220,所以分层流程的账是算得过来的。
如果你要落地,最小可行的一步是:先把你的素材按「人工拍摄 / 全生成 / 生成后精修 / 算法直出」四类分开统计,每类单独抽 100 张做类别级测试。不拆类别的准确率测试,测的是空气。
互动提问:你们的平台在标注 AI 生成内容时,误判导致的商家/用户客诉多吗?我们靠分层人工把月均客诉从 23 起压到 3 起,想知道别人是怎么平衡误判和漏判的。
互动提问:有没有团队实测过 C2PA 内容凭证在国内内容链路(微信/抖音/小红书转码)里的存活率?我们测下来转一次就断,很想看看是不是我们链路特殊。
— IMAI 编辑部 | 2026-11-13