研究发现基准测试饱和后解题过程仍保留能力信号

发生了什么

据arXiv cs.AI报道，一篇题为《Evaluating Model Capabilities After Benchmark Saturation》的研究指出，当基准测试分数饱和时，模型解题过程的转录数据仍保留能力预测信号。研究模拟了基准测试饱和情况，发现配对评判法在预测未饱和项目能力方面表现最佳，相比仅使用饱和分数的基线，预测误差降低了5.3倍。这表明即使分数无法区分模型，解题细节仍具评估价值。