WhatWorkedBench评估AI代理实验理解能力

发生了什么

据Hugging Face Papers报道，WhatWorkedBench评估AI代理预测实验结果的能力，通过测量组件变化如何影响不同任务中的得分，显示高斯过程建模和代码等价编码可提高效应恢复率。该基准测试要求代理检查代码、选择测量值并提交响应面，以预测每种组件设置的得分。穷举CPU执行提供参考效应，覆盖36个任务的1248个配置记录。核心评估结合4,206个数值控制记录和108个代理回合。在8个新测量点，对相同代理观察值拟合高斯过程，使原始Flash队列的效应恢复准确率从0.632提高到0.698，额外队列从0.621提高到0.720。