MAMath-Bench基准发布

发生了什么

arXiv cs.AI于2026年10月21日宣布发布MAMath-Bench，首个用于评估多模态多智能体数学推理过程感知的基准。该基准包含1003个涵盖11个数学类别、多难度级别和文本、图像、音频等多种模态的问题，并具有细粒度里程碑标注，从问题解决正确性、推理过程可靠性及对抗性推理链扰动鲁棒性三个维度评估系统。评估显示，多智能体协作并不总比强单LLM提高最终答案准确率，但能增强中间推理覆盖，可能增加推理冗余，且当前系统仍易受对抗性推理错误影响，特别是涉及细微结构扰动的错误。