跨62种文化的LLM评测基准CulturalRiddles发布

发生了什么

研究人员推出CulturalRiddles基准，评估LLM对多元文化的理解能力。该基准包含跨越62种文化（45个国家，51种语言）的原创谜题，要求模型具备推理、语言和文化知识。评测显示，即使是前沿模型在部分文化中的准确率也仅为22%。该基准旨在促进对LLM文化理解能力的评估，并已公开所有资料，接受社区贡献以扩展覆盖范围。