新算法提升LLM评委一致性但未增强与人类对齐

发生了什么

据arXiv论文，一项无标签规则澄清程序将LLM评委间的Krippendorff's α提升了0.069至0.074。该程序通过分解规则、按分歧排名并由编辑模型重写争议条款来修复规则。尽管增加了评委间的一致性，但在SummEval、HealthBench和USR数据集上，与专家评分或人类标注的一致性未检测到显著变化，甚至点估计更低。