“大型语言模型在数学推理中是否表现出连贯的知识结构？从知识空间理论的角度看”

一项基于知识空间理论的研究评估了八款开源及闭源大语言模型在数学推理中的表现。研究发现，这些模型不遵循人类的知识结构，频繁违反知识依赖关系，未能有效利用上下文提供的关联知识来提升对依赖问题的解答能力。此外，不同模型之间的知识结构缺乏一致性，其知识分布重叠度较低。值得注意的是，上述结构性缺陷在基于准确率及“大语言模型作为评判者”的评估中几乎不可见。研究结论指出，当前大语言模型的知识结构并不遵循类人模式。