arXiv发布ListQA基准评估大模型列表检索

发生了什么

据arXiv cs.AI报道，研究团队发布了ListQA基准，包含9,045个经人工策展和交叉验证的问题，旨在评估大语言模型从参数中检索并组织多个事实到结构化列表的能力。对34个模型的基准测试显示，最佳标准推理模型得分低于37% LLM-Judge-F1。提供源维基百科页面可大幅提升得分，证实模型能组织事实但难以仅凭参数检索。