MMEnterprise-Bench评测基准推出

发生了什么

据Hugging Face Papers报道，MMEnterprise-Bench评测基准推出，用于测试多模态企业智能体在动态演化职场记录中的推理、冲突解决与不可回答识别能力。该基准包含1613个问题，基于30个模拟协作项目的演变多模态记录，涵盖证据推理、冲突解决和不可回答识别三种类别。研究评估了10个专有和开源的多模态LLM，发现即使是最强的模型在证据包含跨来源或时间冲突或跨越多张图像时也难以处理。增加检索预算或使用更大检索器可提高证据召回率，但不一定能始终提高答案准确率。