Scale发布SWE-Bench Pro V2
发生了什么
据scale.com公告，Scale联合Reflection发布SWE-Bench Pro V2基准。该版本包含642个任务（原731个，剔除89个无效项），其中51个为Hard难度。所有任务、环境及验证器均经人工与智能体审查更新，修复奖励黑客等问题，211个任务优化了依赖支持。评测采用网络锁定协议。当前公开排行榜显示Claude Opus解决638/642题，Kimi K3解决627/642题。
- 总任务数
- 642
- 剔除任务数
- 89
- Hard难度任务
- 51
- 优化依赖任务
- 211
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- scale.com · 技术动态一手材料
SWE-Bench Pro V2: A Cleaner, Harder-to-Game Leaderboard
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口