arXiv发布SpireBench评估代理模型长程推理

发生了什么

据arXiv论文，研究团队推出SpireBench基准测试，利用《杀戮尖塔》游戏评估大语言模型的长程战略推理能力。在最高难度下，前沿模型表现优于启发式基线并匹配普通人类玩家，但远落后于专家水平。随着游戏进程延长，最强模型胜率差距扩大，且模型倾向于保留生命值而非冒险增强，未能从跨局记忆改进。该基准为定位智能体失败原因提供了工具。