OpenAI 收回 SWE-Bench Pro 推荐

OpenAI no longer recommends SWE-Bench Pro

OpenAI 正式收回了对 SWE-Bench Pro 的推荐。我们深入审计发现，该基准测试中约 30% 的任务存在严重缺陷，包括测试过于严格、提示词描述不清以及覆盖率不足等问题。这些问题导致评估结果无法真实反映模型的软件开发能力，甚至可能误导安全决策。此前我们曾建议社区转向 SWE-Bench Pro 以替代有缺陷的 SWE-bench Verified，但经过自动化管线筛选和资深工程师的人工复核，确认其同样存在大量“坏数据”。这一发现凸显了构建高质量、公平且难以被“刷分”的 AI 基准测试的巨大挑战。

"评估应该通过难以被操纵、易于信任且真正反映模型能力或对齐情况的基准测试，来提供有意义的信号。"