一个学生交了篇自己写的作文，被检测系统判成”AI 率 93%”；一篇真正的 GPT-4o 生成稿，反而被判”纯人类创作”。过去半年，这两件事我们在自己的内容团队各至少撞到过一次。然后我们做了一件笨事：把 620 篇文本、五种检测器、两轮人工标注，全部跑了一遍。
这篇是那批数据的账。结论先说：当前主流 AIGC 检测器的能力边界，不在”识别机器文本”，而在”识别流畅的无个性文本”——它们的误判方向高度一致地偏向两类人：写作风格工整的非母语者，和被严格要求过格式的人。
一、测试设计：先承认”真值”本身有争议
检测评测最大的坑是拿”检测器说 AI”当指标。真实的情况是人类写的文本里天然存在大量低困惑度片段，而 AI 写的文本也可以被改写到高困惑度——检测器测的是统计指纹，不是创作主体。
我们这样分层构造样本，每层都有独立人工标注：
| 样本层 | 数量 | 构造方式 | 标注确定性 |
|---|---|---|---|
| 纯人工原创 | 180 | 编辑部同事独立撰写，主题分散 | 高 |
| AI 直出 | 140 | 同一提示、同模型直出未改 | 高 |
| AI 生成 + 人工润色 | 140 | AI 初稿后人工作句式改写 | 中（改写幅度不同） |
| 人工 + AI 轻度润色 | 80 | 人稿，仅让 AI 修语法和连接词 | 低（这是争议最大层） |
| 非母语者人工稿 | 80 | 英语 B1-B2 水平作者撰写 | 高 |
最后一层是被忽视最多、也最能说明问题的。如果一篇文本是英语水平有限的人一字一字写的，它该被算作 AI 吗？检测器的答案基本是”是”。
二、五家检测器的真实表现
检测器全部用官方默认设置，口径统一为”判为 AI 生成的比例”：
| 检测器 | 人工原创误判率 | AI 直出检出率 | 非母语稿误判率 | 人工+轻度润色判 AI 率 |
|---|---|---|---|---|
| GPTZero | 13.9% | 91.4% | 38.8% | 67.5% |
| Originality.ai | 8.3% | 95.1% | 21.3% | 72.0% |
| ZeroGPT | 17.2% | 82.9% | 41.3% | 59.0% |
| Copyleaks | 6.1% | 93.0% | 19.4% | 63.8% |
| 中文主流平台 | 11.5% | 88.6% | 28.8% | 54.3% |
先把好消息说清楚：AI 直出的检出率都不低。Copyleaks 95.1%、Originality 95.1%，说明”抓没加工的 AI 稿”这件事目前是可信的。这解决了一半问题。
问题全在另一半。注意那个非母语列的 38.8%——GPTZero 把接近四成非母语者独立写的作文判成了 AI。这不是 bug 分布，这是方法决定的：非母语写作倾向于使用更高频、更安全的词汇和更规整的句式，统计上和 LLM 的输出同向。
而”人工写 + AI 只改语法”这一层，被判 AI 的比例是 54% 到 72%。换句话说：让 AI 帮你改了几个连接词，在检测器眼里你就已经不是你了。
三、误判的具体长什么样
把误判样本摊开看，模式非常集中，三种文本最容易被冤枉：
- 结构过于清晰的文本。我们内部的技术文档模板（背景—方案—数据—结论）被 GPTZero 判 AI 的概率是 71%。模板化结构本身就是低困惑度信号，而低困惑度正是检测器的判据。
- 被”改好”的文本。同事原稿里那些不规整的长句、口语插入语，恰恰是人类指纹。AI 润色把句长方差压平的那一刻，它同时抹掉了检测器赖以区分人和机器的信号。这是最讽刺的一处：润色提升了可读性，也增加了被误判的概率。
- 特定主题的说明文。产品说明、API 文档、科普条目，由于本身就是”信息密度高、修饰少”的文体，误判率显著高于叙事类。
反过来，要绕过检测也远比想象中容易。我们做了个对照实验：把一批 AI 稿做三档处理——仅换同义词（检出率下降 11 个百分点）、调整句长分布（下降 34 个百分点）、加入具体的错误与口语碎片（下降 61 个百分点，同时有三篇掉到人工水平以下）。这个实验的目的不是教绕过，是说明这个指标本身不坚固。
四、那么，该怎么用这些工具
先说结论：AIGC 检测不能作为任何决定性证据单独使用。这不是保守，是数据支持的。
我们的用法已经改成三层：
- 第一层，粗筛。把检测器当漏斗的第一道，高分区（比如 >90% 且三家中两家一致）的稿子进入人工细看。粗筛的目的不是定罪，是决定”要不要花时间看”。
- 第二层，人工审。编辑判断依据不是统计特征，而是事实核查：稿子里那些具体的数字、案例、时间线，是否真实存在。AI 生成文本最稳固的破绽不在文风，在它编造的很像真的引用。
- 第三层，流程。对外发布的合同、学术材料、法律文档，用”创作过程可追溯”替代”结果可检测”：保留草稿版本、编辑记录、提交时间戳。过程证据比任何检测器的百分比都更难被质疑。
还有一条红线：不要把检测分数直接用在人身上。教育场景里出现过的争议，多数是学校把百分比当成处分依据。一篇被误判的学生作文，代价是学生的诚信记录。任何影响个体重大权益的判定，都应当有申诉和人工复核通道。
五、给不同角色的具体建议
| 角色 | 建议做法 | 不建议做法 |
|---|---|---|
| 内容团队 | 保留写作过程版本记录，把检测报告当内部粗筛 | 用检测分数决定是否发布 |
| 教育机构 | 检测提示可疑后，先面谈确认 | 直接按百分比给处分 |
| 求职者/留学生 | 用 AI 辅助后人工重写至个人风格 | 试图用”降 AI 味”工具批量处理 |
| 平台方 | 多检测器交叉 + 抽样人工，降低单一误判 | 把单家分数作为下架依据 |
总结
620 篇文本的结论可以压成三句话：AI 直出的检出率已经可用了，Copyleaks 和 Originality 都在 95% 上下；但人工原创的误判率仍有 6% 到 17%，非母语写作的误判率高到不可接受；检测器测的是统计指纹而非创作事实，所以它只能是粗筛工具，永远不能是判决工具。
更重要的判断是：整个 AIGC 检测范式正在接近它的上限。模型越强、人类越依赖 AI 辅助润色，两类文本的统计距离就越小。未来的解法不在检测器里，在创作过程的存证里。提前建立过程记录习惯的团队和个人，会比依赖分数的人更少被这类问题咬到。
互动提问：你们的团队或学校用过 AIGC 检测吗？有没有遇到过明显是冤案的情况，当时是怎么处理的？
互动提问：如果”人工写 + AI 改语法”都会被判 AI，你觉得个人写作和 AI 辅助之间的边界应该划在哪里？
— IMAI 编辑部 | 2026-10-30