arXiv提出门控多模态RAG框架

发生了什么

据arXiv论文，研究提出基于门控多模态表示的RAG框架以增强医学视觉问答。该框架通过门控多模态单元学习联合查询表征，使证据检索能利用图像与临床问题的联合语义，同时保持底层模型冻结。评估显示，该方法在基准数据集上表现优于参考模型，并与最先进方法相当，证明了其在提升事实一致性方面的潜力。