Beyond Aggregate Scores: Behavioral Correctness Assumptions for Assessing Reference-Based Automatic Evaluation Methods
研究人员提出行为正确性假设框架，用于评估基于参考的自动评估方法。该框架定义了保持和改变正确性的假设分类，并通过受控响应变换操作化预期评分行为。实验涵盖多种词汇、字符级、语义、LLM 及混合评估器，分析了其假设层面的行为、稳定性、敏感性、重复运行变异性、配置敏感性和可复现性。研究揭示不同评估范式间存在显著的行为权衡：没有评估器能满足所有提出的正确性假设，且聚合性能相似的评估器可能表现出截然不同的行为特征。这些发现表明，行为正确性假设能提供传统聚合元评估所掩盖的诊断信息。