Mercor提出企业大模型评测质量问题

发生了什么

据Brendan Foody观点，当前企业大模型评测普遍存在数据质量低下问题，导致大量误报或漏报。评测机制往往仅奖励单一正确路径，且未能有效惩罚错误回答，致使企业基于有缺陷的数据做出模型性能决策。Mercor表示可为面临数据质量问题的企业提供免费的内部评测审查服务。