开源模型选型实测:14 周 23 个任务,显存约束下最强模型不是最优解
2×A100 固定硬件上,6 个开源模型、23 个真实任务跑 14 周:总成功率第一名和最快模型差 9.2 个百分点,也差 7.4 倍延迟。附分类别成功率对比表、三个部署陷阱与最终的四场景选型矩阵。
2×A100 固定硬件上,6 个开源模型、23 个真实任务跑 14 周:总成功率第一名和最快模型差 9.2 个百分点,也差 7.4 倍延迟。附分类别成功率对比表、三个部署陷阱与最终的四场景选型矩阵。
复盘 42 个企业 AI 项目,成功率 45.2%,失败的 23 个里 17 个卡在数据、集成、采用率,与模型无关。附数据接入延误排行表、四种集成推动方式对比,以及立项前必须过的五条验收清单。
一份不存在的 PDF、一个编造的页码,让我们重跑了 240 次真实问答:37.9% 的引用是伪造或错配。本文给出引用造假的三种形态分类,以及存在性校验、定位精度、独立模型蕴含校验三道关卡的真实拦错数据。
8 个内部 Agent、124 次压测:70% 的真实失败不是「不会做」是「不记得做过」。这篇拆开工作、情景、语义、程序四层记忆,附重复调用率、token 成本、P95 延迟的前后对比,以及三个反直觉发现。
Agent 化之后上下文取代模型调用成为最贵的一项:检索注入占 43.7%、会话历史占 32.3%,而用户真实输入只占 9.8%。本文拆解一个可复用的上下文成本治理方案:分桶观测、重排后按阈值注入、分层压缩、前缀缓存对齐,以及三条不能省的边界。
拆解 320 组失败查询后发现:只有 18% 是检索不到,82% 是”检索到了但检索错了”——召回位被新文档挤占 28.4%、重复文档稀释 21.7%。靠时间衰减、新鲜度配额、先合并同类再 rerank 四步,把 top-1 命中率做到 83.4%,过期引用率从 23.1% 降到 3.4%。
21,400 封真实邮件的内部实战:无草稿的纯分类版本意图识别只有 71.4%,改成”结构解析 + 槽位抽取 + 生成”三步后到 88.6%,草稿稍改即可发比例 41.7%,单封耗时从 6 分 12 秒降到 3 分 40 秒。附三条红线权限设计与最小可复用骨架。
420 个真实函数、三轮对照实测:AI 生成单元测试能把分支覆盖率从 68.4% 拉到 84.2%,但直接生成时变异杀掉率反而比人工低 5.2 个点,17.3% 的测试属于”自证式假动作”。附四类失败模式拆解、可落地的六步流水线与三种不该交给它的场景。