Prime Intellect发布大模型评测修复方案

发生了什么

Prime Intellect发布报告指出AutomationBench与OfficeQA Pro v2评测存在设计缺陷，并开源了修复方案。针对AutomationBench，通过引入JSON Schema及工具注册模式，Claude Opus 5.5 @ max在公共集得分92.15%（严格模式70.83%），DeepSeek V4.1-Flash 1017得分91.61%（严格模式69.50%）。针对OfficeQA Pro v2，修复方案通过替换评分逻辑、调整提示词及限制网络访问以提升准确性。