共 691 篇文章

AI 客服不能只做 FAQ:8,412 个真实工单归因,29% 的请求压根不该自动应答

8,412 个真实工单人工归因:标准问答只占 46.2%,多步协商与例外投诉合计 21%,无解请求 8%,近三成本不该自动回答。附三级置信度回退设计与四版方案实测对比,把错误应答率从 8.7% 压到 2.1%,自动应答率做到 71.3%。

别用「像不像纪要」验收会议 AI:320 场真实会议,行动项召回 71.6%、责任人识别 58.4%

320 场真实会议人工复盘:AI 纪要的议题切分能到 94.7%,但行动项召回只有 71.6%、责任人识别 58.4%。核心结论——纪要不是替你写,是帮你进入可决策状态;附三态分级与四步把准确率做到 82% 的做法。

MCP 工具调用的 23.9% 静默失败:38 个真实工具、2,300 次调用,四层校验把错误率压到 2.8%

8 周、38 个真实 MCP 工具、2,300 次调用实测:默认配置下 23.9% 的工具调用带着错误参数继续执行,其中语义错配类 87.6% 不报错。附九类 schema 扰动对照表、可复制的参数清洗代码与四层校验分工。

AI 语义检索的 45% 假命中:12,547 条真实查询归因,换 embedding 模型只值 2.3 个百分点

7 周、12,547 条带人工标注的真实查询:语义检索的失败有 45% 发生在模型之前——查询改写、分块与标题注入、混合检索权重、相似度校准,四步把 top-1 命中率从 53.7% 做到 89.2%,附五张实测对照表。

AI 生成内容评测体系重建实战:静态评测集三个月就过期,四层架构拦下 23 次劣化版本

上线时可用率 78.3% 的场景,90 天后只剩 41.6%:不是模型退化,是分布变了。拆解四层评测集(雪花/轮换/对抗/探针)、分场景发布线与拦截线,以及 LLM-as-judge 在我们的场景为什么不够用。