DeRef模型提升LLM工具调用验证准确率

发生了什么

arXiv论文揭示LLM工具调用验证中的“推导差距”现象，即当输入缺乏参考文本时，法官模型接受正确默认值的概率降低。研究提出DeRef模型，通过读取完整历史并写入参考文本来辅助判断。在三个基准测试中，DeRef提升了所有测试法官的整体参数AUROC，在受控测试中将AUROC从随机水平提升至98.40-99.59之间。