首个阿拉伯语方言数学推理基准DAR-MGSM推出

发生了什么

据arXiv cs.CL报道，研究人员推出首个阿拉伯语方言数学推理基准DAR-MGSM，用于评估大模型在方言阿拉伯语数学推理任务上的表现。该基准包含需要多步推理的数学应用题，涵盖五种主要阿拉伯方言及现代标准阿拉伯语。评估显示，大模型在文化本地化版本上的表现普遍下降，但不同模型对本地化的敏感度各异。分析表明，数学推理性能受语言变体和文化背景双重影响。