AI编程基准水分实测:SWE-bench 80分模型的真实可合入率只有16.7%
SWE-bench通过率80%+已成标配宣传,但42个内部issue实测显示可合入率仅16.7%。本文实测三大编程基准的水分来源:测试名泄漏12%、隐藏测试掉分9.4分,并给出5条工程选型决策与1.5人日的微基准搭建方案。
SWE-bench通过率80%+已成标配宣传,但42个内部issue实测显示可合入率仅16.7%。本文实测三大编程基准的水分来源:测试名泄漏12%、隐藏测试掉分9.4分,并给出5条工程选型决策与1.5人日的微基准搭建方案。