阿里巴巴发布Co-Design Bench测试

发生了什么

据The Decoder报道，阿里巴巴推出Co-Design Bench基准测试，旨在评估AI编程智能体在真实用户请求中的表现。测试结果显示，即使是表现最好的GPT-6 Astra模型，也仅能完全解决26.4%的任务，意味着近四分之三的任务仍需人工清理。该基准测试揭示了模型在真实场景下的表现与旧基准测试中超过99%的得分存在显著差异。