推出多文化谜语基准CulturalRiddles

发生了什么

据arXiv cs.CL报道，研究人员推出多文化谜语基准CulturalRiddles，用于评估大模型跨文化推理与理解能力。该基准包含由人类参与创建的、涵盖62种文化（45个国家、51种语言）的原创谜语，要求模型具备推理、知识、语言和文化理解能力。基准测试显示，即使是前沿模型在部分文化中也仅达到22%的准确率。该基准已公开发布，并开放贡献流程以扩展语言和文化覆盖范围。