arXiv发布SIT-Eval对话评估框架

发生了什么

据arXiv cs.CL论文，研究团队推出SIT-Eval框架，用于基于情境的交互式逐轮对话代理评估。该框架将期望行为形式化为情境规则，利用LLM对手执行均匀采样的情境，并由上下文感知的LLM裁判依据适用规则评估回复。对8个LLM在1292个对话轮次上的基准测试显示，聚合指标掩盖了模型在遵守个别规则方面的差异，所有模型在歧义澄清和苏格拉底式提问方面表现最差。