OpenAI最新审计发现SWE-Bench Pro约30%任务存在缺陷，收回此前推荐

OpenAI于7月8日发布了一篇详细的技术分析报告，对业界广泛使用的编程能力基准测试SWE-Bench Pro进行了系统审计。报告指出，该基准测试中约30%至34%的任务存在破坏性缺陷，可能导致对AI模型编程能力的评估失真。

SWE-Bench Pro是SWE-Bench Verified的升级版本，由Scale AI参与设计，旨在通过更长周期、更贴近现实的编程任务来追踪模型的智能体编程能力。在过去8个月中，前沿模型在该基准的731道公开任务上通过率从23.3%飙升至80.3%。

OpenAI的审计通过自动化数据质量管道加人工评审两阶段进行。自动化管道标记了200道（27.4%）可能损坏的任务，随后由五名资深软件工程师独立评审的标注活动则确认了249道（34.1%）存在问题。

报告将问题归纳为四类：过于严格的测试（要求特定的实现细节而非功能正确）、说明不充分的提示（隐藏了测试所要求的必要信息）、覆盖率不足的测试（不完整的修复也能通过）以及误导性提示（引导模型走向错误方向或与测试矛盾）。

OpenAI强调，SWE-Bench Pro的问题来源与其数据采集方式有关——任务从开源仓库的feature变更历史中程序化提取，但原本为人类协作编写的PR描述、代码合并和单元测试三者之间并不总是能够对齐，形成清晰、孤立的评测任务。

值得注意的是，OpenAI在报告中正式收回了此前推荐行业使用SWE-Bench Pro的建议。这与今年早些时候该公司不再使用SWE-Bench Verified的决定形成呼应，显示OpenAI正在重新审视其整个评测体系。

这一发现对AI行业具有广泛影响。编程基准测试是衡量模型进步的核心标尺，如果评估数据本身存在系统性缺陷，不仅影响模型发布时的能力报告，更可能误导安全决策和研究优先级。OpenAI呼吁评测社区开发由经验丰富的工程师专门为测试模型能力而构建的新基准。