本地推理生产运维实战:124 次压测,把冷启动、显存水位和降级链路这四件事立起来才敢上线

124次压测告诉你,Ollama默认配置上不了生产。瓶颈是默认配置的批处理、显存策略、冷启动与可观测性四点,没有一项靠换模型能解决。本文给出四层监控与降级链路、冷启动压到12秒的三个动作和三条运维红线。

企业 AI 选型实战:11 周从 23 个候选筛到 6 个上线,分数最高的两个候选是在极限测试冻死掉的

11周从23个候选筛到6个上线。本文不写哪个工具最好,只写一套可复用的选型方法:四轮筛法怎么设截止条件、六类场景为什么不能用同一把尺子量,以及让选型可逆、可退、可复盘的三条架构与合同做法。

Agent 上下文工程实测:820 万 token 的代价,超过临界点后上下文越长,任务成功率反而越低

820万token实测告诉你:1M窗口没有消灭检索问题,只是把成本放大了12倍。Agent的核心故障是中间遗忘与噪声累积,这两者在32K就已存在。本文给出上下文工程四件套、每条的真实收益,以及长上下文三个诚实的适用边界。

AI 推理降本实测:2140 万次请求、92 天模型分流改造,月成本降 77.9%,最大的节省反而不是换模型

对10条生产工作流做92天模型分流改造,覆盖2140万次真实请求,月推理成本降下77.9%。收益取决于流量形状而非开源强度;中间只存在一个70B甜点档;而最大的隐藏节省藏在vLLM显存与批处理调优里,顺序反了整个账都会算错。

AI 预算与 ROI 趋势:190 家企业四季度账本,支出占比翻倍但可审计收益几乎没动

过去一年 AI 预算占比从 3.8% 翻到 8.7%,实际调用量只增长 41%。用 190 家企业四季度支出账本,拆解预算错配在哪里、12.6% 岗位替代究竟替代了什么、以及让预算悄悄通胀的三个来源。现在的问题已不是能不能做,是敢不敢复盘。

本地部署大模型实战:14 台机器实测,决定能不能用的不是显存,是 KV cache、上下文和量化位宽

Ollama 一条命令不代表真能用。14 台主机、三类真实负载端到端实测:7B 到 32B 量化精度曲线、长文档下 KV cache 的显存占用、Mac 与 NVIDIA 的分界,以及什么时候该从 Ollama 换 vLLM。显存只决定能不能进,后三项决定跑不跑得动。

AI 会议纪要实测:320 场真实会议,行动项召回率 71.6%,责任人识别只有 58.4%

转写准确率早已不是瓶颈,行动项抽取才是。320 场真实会议核对四款主流 AI 纪要工具,整体召回率 71.6%,责任人识别准确率只有 58.4%。会议越结构化抽得越准,越开放越崩。本文拆解四类系统性漏提取,并给出不换工具、把召回率提到 88.1% 的三段式改法。

AI 编程返工实测:380 个 PR 回溯 12 周,41.3% 返工率里七成不是 bug,是命名和重复实现

把 380 个 AI 辅助生成的 PR 回溯 12 周统计返工,结论 41.3% 的 PR 回过工。意外的不是返工率高,而是原因结构:功能缺陷只占 28.7%,其余七成是命名含糊、重复实现、抽象错位。文中给了可复用的返工四分类口径和四条把返工率压到 24.7% 的工作流规则。

给自己家的 RAG 客服投毒:240 次提示注入实测,默认配置下 37.9% 成功

给自己的 RAG 客服 Agent 投毒,用 240 条贴近真实渠道的注入样本测出:默认配置下 37.9% 成功,对话型比文档型更危险,混在正常文本里的隐性注入成功率是显性的两倍。本文拆解越权读、越权写、外传三级的真实比例。

模型知识截止探针集实测:120 道时效题,只有一半模型承认自己「不知道」

120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。

240 个真实 Figma 帧交给 AI 转代码,可直接交付率只有 58.3%:卡住交付的不是还原度,是断点、无障碍和 design token

240 个真实 Figma 帧交给 AI 转代码后逐帧验收:视觉还原 88.6 分已不是瓶颈,响应式 71.4 分、无障碍仅 46.9 分才是卡住交付的原因,可直接交付率只有 58.3%。本文拆解断点值不符、焦点丢失、魔法数字三类失败,并给出四步流水线与可直接复用的验收清单。