共 691 篇文章

上下文成本治理:占我们账单 58.4% 的那个框,怎么在不降效果的前提下降掉 71.3%

Agent 化之后上下文取代模型调用成为最贵的一项:检索注入占 43.7%、会话历史占 32.3%,而用户真实输入只占 9.8%。本文拆解一个可复用的上下文成本治理方案:分桶观测、重排后按阈值注入、分层压缩、前缀缓存对齐,以及三条不能省的边界。