arXiv发布PRISM校准大模型裁判评分偏差方法

发生了什么

据arXiv cs.LG报道，研究引入PRISM（Probe-based Residual Inference of Scoring Misalignment），利用反事实探针校准黑盒大模型裁判评分偏差。该方法保持评估内容固定，通过强调或弱化属性来测量分数变化，并用局部敏感性模型表示为代理雅可比矩阵。在SummEval摘要和HANNA故事评估中，PRISM显著提高了与人类排名的 agreement，且无需基于标准的评价协议。