Grid-Bench：评估大语言模型预测离散世界变化的能力

发生了什么

据arXiv cs.CL 10月15日报道，研究引入Grid-Bench，这是一个可执行基准测试，其中八类操作转换表示为二、三和四维网格的离散世界。给定初始网格、明确规则和以文本表达的事件历史，模型预测完整的最终网格。参考执行使每个预测值可检查，支持跨空间操作、历史长度和工作负载的比较。评估六个LLM显示，随着历史增长，完全状态准确率急剧下降，表现相似的模型之间存在显著差异。