研究发现VLM空间关系表征低于词汇先验

发生了什么

据arXiv cs.CL报道，研究人员发现视觉语言模型（VLMs）内部表征未能忠实编码结构化关系。通过EICS指标和CASP-VL基准测试发现，尽管模型在组合基准上表现良好，但空间关系表征远低于词汇信息。关系信息在谓词token处可识别，但在聚合为全局表示时丢失，揭示了下游表示中关系信息丢失的系统性失败。