arXiv发布MAPLE评估框架

发生了什么

据arXiv cs.LG报道，研究人员引入MAPLE，一个用于表征知识提取增强（KEE）技术如何影响参数知识提取的统一框架。现有评估多集中于聚合准确率，掩盖了不同效果。MAPLE通过诊断指标在表面、概率及采样后层面解离这些影响，测量答案恢复与干扰、未恢复失败的黄金令牌排名偏移，以及固定预算采样遗漏的答案恢复。研究在OLMo2、Qwen2.5和Llama3三个模型族上评估了六种KEE技术，揭示了各技术的独特效果和权衡。