OR-License评估LLM代理运筹学能力

发生了什么

据Hugging Face Papers报道，OR-License基准测试评估了11个前沿LLM代理解决真实运筹学问题的能力。测试使用来自10个行业场景、价值3.68亿美元的委托项目的31个实例，保留原始要求、输入数据和交付格式。研究发现，虽然一些模型在条件目标质量上超过专家参考，但它们在可行性、部署调整质量和信息获取方面均未达到专家水平。最强模型Claude Code配置达到88.39%的严格可行性和0.87的DAQ。研究建议持续解决信息差距、忠实问题表述和基于证据的自我改进，以实现可靠的长期代理。