推理缓存四层实测:32 万次请求账单降 41%,语义缓存只该用在那 14.7% 上 2026年11月12日 作者 IMAI 编辑部 AI 推理账单里最大的浪费是重复请求。32 万次请求的重复类型统计显示:精确重复 28.4%、前缀重复 31.2%、语义近重复只有 14.7%。据此做的四层缓存把账单降 41%,抽检质量只动 0.6 个点。