研究：交叉提示缓解VLM罕见类抑制

发生了什么

据arXiv论文，视觉语言模型在类别不平衡数据微调时，罕见类召回率可能低于零样本性能。研究发现标准做法（推理时使用与微调相同的描述性提示）会产生“匹配提示惩罚”，导致罕见类召回率更低。提出“交叉提示推理”策略，即使用不同的描述性提示进行推理，可在六个数据集上一致恢复罕见类召回率。机制分析表明，该效果源于训练-评估提示交互，通过减少微调诱导的计算依赖，使模型回归预训练组件，从而释放被抑制的罕见类知识。