共 642 篇文章

本地推理生产运维实战:124 次压测,把冷启动、显存水位和降级链路这四件事立起来才敢上线

124次压测告诉你,Ollama默认配置上不了生产。瓶颈是默认配置的批处理、显存策略、冷启动与可观测性四点,没有一项靠换模型能解决。本文给出四层监控与降级链路、冷启动压到12秒的三个动作和三条运维红线。

企业 AI 选型实战:11 周从 23 个候选筛到 6 个上线,分数最高的两个候选是在极限测试冻死掉的

11周从23个候选筛到6个上线。本文不写哪个工具最好,只写一套可复用的选型方法:四轮筛法怎么设截止条件、六类场景为什么不能用同一把尺子量,以及让选型可逆、可退、可复盘的三条架构与合同做法。

本地部署大模型实战:14 台机器实测,决定能不能用的不是显存,是 KV cache、上下文和量化位宽

Ollama 一条命令不代表真能用。14 台主机、三类真实负载端到端实测:7B 到 32B 量化精度曲线、长文档下 KV cache 的显存占用、Mac 与 NVIDIA 的分界,以及什么时候该从 Ollama 换 vLLM。显存只决定能不能进,后三项决定跑不跑得动。

给自己家的 RAG 客服投毒:240 次提示注入实测,默认配置下 37.9% 成功

给自己的 RAG 客服 Agent 投毒,用 240 条贴近真实渠道的注入样本测出:默认配置下 37.9% 成功,对话型比文档型更危险,混在正常文本里的隐性注入成功率是显性的两倍。本文拆解越权读、越权写、外传三级的真实比例。

模型知识截止探针集实测:120 道时效题,只有一半模型承认自己「不知道」

120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。

240 个真实 Figma 帧交给 AI 转代码,可直接交付率只有 58.3%:卡住交付的不是还原度,是断点、无障碍和 design token

240 个真实 Figma 帧交给 AI 转代码后逐帧验收:视觉还原 88.6 分已不是瓶颈,响应式 71.4 分、无障碍仅 46.9 分才是卡住交付的原因,可直接交付率只有 58.3%。本文拆解断点值不符、焦点丢失、魔法数字三类失败,并给出四步流水线与可直接复用的验收清单。

电商商品文案 AI 生成实测:420 个 SKU 跑一遍上架验收,规格表能交、卖点必须人工兜底

420 个真实 SKU、六品类人工评分实测:AI 生成商品标题和规格表可直接发布率达 88% 与 82%,五点卖点 62%,详情页仅 41.5%;关键失败不在文笔,在模型把区间和容差抹平成单点值。附四层流水线与硬校验方案。

Chrome 内置 AI 实测:Gemini Nano 与 Prompt API 的真实价值不在速度,在请求不离开设备

三周 B 端产品实测:Chrome 端侧 AI 首次加载 18.4 秒、稳态 1.1–2.6 秒,重组已有信息合格而推理任务不合格,它真正不可替代的价值不是速度,而是零边际成本与数据从不离开设备。

AIGC 检测器误判实测:620 篇文本五种检测器,非母语者的原创被误判率高达 38.8%

把 620 篇标好来源的文本、五个主流 AIGC 检测器全部跑了一遍:AI 直出检出率都在 95% 上下,但人工原创误判率仍有 6% 到 17%,非母语者原创误判高达 38.8%,而 AI 润色过的稿子过半被判为机器文本。

vLLM 生产调优实测:一个参数把吞吐翻三倍,P99 首 token 延迟从 3.8 秒压到 640 毫秒

同一台 A100 80G、同一个 Qwen2.5-32B 模型,从默认配置调到 1240 tokens/s 的完整账单:前缀缓存、max_tokens 收紧、chunked prefill 与 INT8 量化各自贡献多少延迟收益,以及为什么只看均值会把你更差的系统送上生产。

AI 出海翻译实测:640 条内容母语盲审,法务条款只有 12% 能直接用

640 条出海内容、五种目标语言母语盲审实测:AI 翻译在产品 UI 字符串上架率 96%,详情页 91%,客服模板仅 41%,法务条款只有 12%。附术语表注入、场景化 prompt、正则校验与人译加 AI 校对四套方案。