arXiv发布FDE-Gym基准测试AI交付性能

发生了什么

据arXiv论文，研究团队推出FDE-Gym基准，包含18个行业95项端到端交付任务，模拟真实客户环境评估AI代理。该基准通过改进客户成功指标（0-1归一化）并惩罚交互成本来评分。对7家提供商的13种模型配置进行评估，结果显示在需发现未声明约束的现实场景中，最佳配置平均得分仅0.56，且仅解决95项任务中的14项（无事故且得分≥0.8）。研究发现，发现未声明约束是主要瓶颈，即使获取所有关键事实，最佳配置仅在23项任务中的10项达到0.8以上的业务提升，揭示了明确任务与有效AI交付间的巨大差距。