共 691 篇文章

Agent 上下文工程实测:820 万 token 的代价,超过临界点后上下文越长,任务成功率反而越低

820万token实测告诉你:1M窗口没有消灭检索问题,只是把成本放大了12倍。Agent的核心故障是中间遗忘与噪声累积,这两者在32K就已存在。本文给出上下文工程四件套、每条的真实收益,以及长上下文三个诚实的适用边界。

AI 推理降本实测:2140 万次请求、92 天模型分流改造,月成本降 77.9%,最大的节省反而不是换模型

对10条生产工作流做92天模型分流改造,覆盖2140万次真实请求,月推理成本降下77.9%。收益取决于流量形状而非开源强度;中间只存在一个70B甜点档;而最大的隐藏节省藏在vLLM显存与批处理调优里,顺序反了整个账都会算错。

AI 编程返工实测:380 个 PR 回溯 12 周,41.3% 返工率里七成不是 bug,是命名和重复实现

把 380 个 AI 辅助生成的 PR 回溯 12 周统计返工,结论 41.3% 的 PR 回过工。意外的不是返工率高,而是原因结构:功能缺陷只占 28.7%,其余七成是命名含糊、重复实现、抽象错位。文中给了可复用的返工四分类口径和四条把返工率压到 24.7% 的工作流规则。

上下文工程实战:四层上下文结构,让Agent任务一次通过率从41%提升到89%

上下文工程正在取代提示词工程。本文用四层分层结构替代盲目堆长上下文,把Agent任务一次通过率从41%提到89%,token消耗反降34%,并附检索筛选三道闸、长上下文衰减实测与长会话压缩方案的完整对照数据。

AI推理成本优化实战:提示缓存、语义缓存与模型路由,30天把账单砍掉70.4%

提示缓存、语义缓存与模型路由三层叠加,在同一真实负载上把月度推理成本从9847元降到2916元,降幅70.4%,平均延迟同时下降61%,质量盲测只掉0.05分。本文含账单结构拆解、语义缓存阈值错误率对照表与完整的落地顺序建议。