OpenAI炮轰AI评测标杆：731 道题近三成有缺陷：8 个月通过率从23%飙到80%已失灵

openai发布官方文章，公开质疑当前行业公认的编程能力评测标准swe-bench pro，指出其在731个公开测试用例中，约30%存在评估机制缺陷。该基准由scale ai主导构建，旨在衡量大语言模型及ai智能体在真实软件开发场景中的工程化能力，凭借高度还原企业级开发流程与严苛的防作弊设计，已被广泛视为ai软件工程领域最具权威性的评测体系。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

OpenAI在文中强调一个异常现象：顶尖模型在该基准上的任务通过率，仅用8个月便从23.3%跃升至80.3%。如此陡峭的增长曲线远超技术演进合理节奏。OpenAI判断，这种“突飞猛进”并非源于模型真实编程能力的质变，更可能暴露了评测体系自身存在系统性偏差，已难以客观反映模型的实际工程表现。

双线核查确认问题规模，近三成任务存结构性缺陷

为严谨验证上述判断，OpenAI同步启动两项独立审查机制：一方面通过自动化数据诊断识别出200个失效任务，占全部731题的27.4%；另一方面组织资深工程师开展人工复核，发现249个存在缺陷的任务，占比达34.1%。两条路径结果高度吻合，最终综合推断SWE-Bench Pro中约30%的题目存在评估失准，主要表现为四类问题——测试条件过于严苛、指令提示信息不足、验证范围过度狭窄，以及提示内容本身具有误导性。

OpenAI还披露了一则典型反例：某道题目明确要求将文本转换为Markdown格式时，在每行开头插入1个空格；但实际隐藏测试却判定只有插入2个空格才为正确。这意味着模型严格遵循题干描述完成编码，仍被系统判为失败。此类“明示规则与隐含标准不一致”的设计漏洞，不仅扭曲了能力评估结果，也成为通过率异常飙升的关键诱因。

终止推荐使用，倡议重构面向AI的工程化评测范式

基于本次深度审查结论，OpenAI正式撤回此前对该基准的推荐采用声明。OpenAI强调，未来AI编程能力评测不应简单套用面向人类程序员的传统考核逻辑，而亟需由具备丰富工业界经验的软件工程师团队，专为AI智能体特性量身定制新型评测框架。当一项被奉为行业“金标准”的基准，竟可能在近三成任务中失效，整个AI评测生态的可靠性与可持续性正面临严峻挑战。推动评测重心从片面追求分数转向真实工程价值回归，已成为AI软件工程评估体系必须直面的核心命题。