P2NPCBench基准测试大模型推理能力

发生了什么

据arXiv cs.CL发布的研究，P2NPCBench基准测试评估了12类问题中每个NP完全问题与其P问题双胞胎的表现。研究发现，在对抗性多智能体重写硬化后的测试中，所有模型在NP完全问题上的表现均低于P问题（35.4% vs. 63.8%的pass@1得分），95.1%的模型家族对NP完全问题的错误率更高。研究指出，部分性能差距可能源于对教科书表述的熟悉而非问题本身的复杂性。