arXiv提出RL框架降低LVLM幻觉

发生了什么

据arXiv论文，研究者提出一种基于NLP度量的强化学习框架，旨在减少大型视觉语言模型（LVLM）在图像描述中的对象幻觉。该框架引入对象一致性评分（OCS）和KL正则化，在冻结骨干网络基础上微调适配器。实验显示，该方法在COCO数据集上使幻觉减少41%，在Visual Genome上减少29%。