AI 编程助手暗藏后门风险:180 个 GitHub 仓库实测,模型倾向”记住”过一次的漏洞
我们抽取 180 个真实仓库做盲测:AI 编程助手生成与历史 CVE 高度相似的代码时,漏洞复发率 19.4%,远高于人工基线。问题不在模型不安全,而在它”记住”了不该记住的东西。
我们抽取 180 个真实仓库做盲测:AI 编程助手生成与历史 CVE 高度相似的代码时,漏洞复发率 19.4%,远高于人工基线。问题不在模型不安全,而在它”记住”了不该记住的东西。
AI 合同审查把初筛提速了 90%,却也暴露出两个致命问题:条款漏报和”内部标准”幻觉。本文给出一套法务 Agent 的校准红线:哪些必须人审、哪些可以放行,以及定点规则怎么写。
把遗留流程自动化交给 Agent 听起来很美好,但 98 个流程的对照实测显示:显式状态机在准确率上领先 34.2 个百分点,成本低 37%,且全程可审计。本文给出判定流程是否适合放权的五个信号。
大家以为微调能解决一切,但60条轨迹的对照实验显示,微调后任务成功率提升14.2%、越界请求下降31%,幻觉率却反向上升6.3%。本文拆开这笔账,给出什么场景该微调、什么场景该用提示工程,以及一套可复用的评测基线。
当23.7%的自然点击来自AI答案引用且不带搜索词,内容策略必须重建。基于40个品牌1200次引用记录,本文给出最易被引用的四类内容结构、与SEO的操作差异,以及一个月可跑完的GEO清单。
22400篇文档、476个真实问题的实测:RAG加上rerank环节后答案正确率平均涨11.3个百分点,成本只增4元千次。本文对比Cross-Encoder、商用API与LLM列表式重排三条路线,附三秒测试法。
同一张A100上完成44组权重量化实测:7B模型4bit几乎无损,70B模型长文摘要退化8.7%,而PPL只涨0.14。附显存速查表、三条部署路线的延迟成本账本,以及34B 4bit优于13B全精度的完整证据链。
SWE-bench通过率80%+已成标配宣传,但42个内部issue实测显示可合入率仅16.7%。本文实测三大编程基准的水分来源:测试名泄漏12%、隐藏测试掉分9.4分,并给出5条工程选型决策与1.5人日的微基准搭建方案。