共 642 篇文章

vLLM 生产调优实测:一个参数把吞吐翻三倍,P99 首 token 延迟从 3.8 秒压到 640 毫秒

同一台 A100 80G、同一个 Qwen2.5-32B 模型,从默认配置调到 1240 tokens/s 的完整账单:前缀缓存、max_tokens 收紧、chunked prefill 与 INT8 量化各自贡献多少延迟收益,以及为什么只看均值会把你更差的系统送上生产。

MCP 接入实测:32 个工具让误调用率涨到 19% 后,我们做了五个动作把它压到 2.2%

接入 32 个 MCP 工具、1400 次真实调用的完整复盘:误调用率从 19% 压到 2.2% 的五个工程动作。工具描述重写收益最大,同义工具合并、参数枚举化、服务端确认闸门与返回结构分离按收益排序逐一拆解。