研究发现LLM说服力评估方法一致性弱

发生了什么

据arXiv cs.CL报道，一项研究对九种自动化说服力评估方法在十五个LLM上的一致性进行分析，发现它们之间的相关性很弱（平均Spearman ρ = 0.25）。分析指出，模型对某些任务（尤其是操纵性任务）的拒绝行为降低了约四分之一的 agreement，且大多数理性说服方法与通用能力相关，而操纵性方法则不然。这表明说服力评分更多取决于任务设置而非评分方式。