文本图软提示中的Token崩溃现象研究

发生了什么

arXiv cs.LG发布研究，揭示文本图软提示中的Token崩溃现象，提出两阶段修复与评估方法。研究发现G-Retriever的图token在多种条件下变得几乎无法区分，表现为通用软提示而非传递图内容。研究提出两阶段修复程序，并强调token可反映问题、答案先验或图内容，需通过干预和解码探测评估token与图信息的对齐。