共 691 篇文章

模型知识截止探针集实测:120 道时效题,只有一半模型承认自己「不知道」

120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。

AIGC 检测器误判实测:620 篇文本五种检测器,非母语者的原创被误判率高达 38.8%

把 620 篇标好来源的文本、五个主流 AIGC 检测器全部跑了一遍:AI 直出检出率都在 95% 上下,但人工原创误判率仍有 6% 到 17%,非母语者原创误判高达 38.8%,而 AI 润色过的稿子过半被判为机器文本。

AI 商品视频生成实测:180 条 5 秒投放素材,中文小字与跨镜头一致性是两道未过的坎

五家视频生成模型各跑 36 条 5 秒商品片:可灵 2.1、Sora 2、Veo 3、Runway Gen-4 与即梦的中文乱码率、参考图保真度与真实上架可用率对比。结论:当前定位是草稿机不是成片机,5 秒碎片加剪辑拼装是唯一稳定路径。

本地部署量化实测:Q4 是免费的吗?数字能力坏了 10.6 分

两周连续压测 Qwen2.5-32B 与 Llama-3.3-70B 在 FP16、Q8、Q5、Q4 四档量化下的质量损耗与推理成本:Q8 几乎无损,是本地部署默认起点;Q4 通用题只掉 2.3 分,数字算术却暴跌 10.6 分,小模型碰 2 比特是断崖不是斜坡。附能力图谱测试法与并发压测避坑指南。

AI 工单客服实测:133 个真实工单,退换货场景 Agent 才是陷阱

133 个真实工单实测 Zendesk AI、Intercom Fin、自建 RAG 管线开源 Agent:退换货场景 Agent 自主执行错误率高出近一个数量级。核心结论是让模型说话、让代码办事。附确定性优先分层架构与成本账。

Deep Research 工具实测:120 次真实调研,四家差距在引用可审计性

120 次真实调研问题实测 Gemini Deep Research、OpenAI Deep Research、Perplexity 与 Genspark 四款工具:引用内容匹配度最高不足 80%,观点归纳类全员翻车。附按问题类型路由方案与引用核验工作流。

AI 商品图生成实测:240 张电商主图过一遍上架验收,文字渲染才是最大分水岭

240 张电商主图深度实测,对比即梦 3.0、Midjourney v7、FLUX 1.1 Pro 与 GPT-Image-1 的中文文案准确率、产品一致性与可上架率。结论:文字渲染才是最大分水岭,Midjourney 中文错字率近六成。附按岗位选工具分工表、OCR 强制校验流程与 3000 个 SKU 真实成本账。