“科学领域的知识提升了视觉-语言眼底模型”

Scientific Domain Knowledge Improves Vision-Language Fundus Models

arXiv:2605.02720v2 发布 PubMed-Ophtha 数据集以对比不同训练数据源对眼底视觉 - 语言模型的影响。该层级数据集包含来自 PubMed Central 15,842 篇开放获取文章的 102,023 个面板及其子标题，具有高密度领域特征。研究者在相同 CLIP 模型上分别使用固定文本模板、医疗报告及该领域文献进行微调，发现特定领域文献在 110 项临床任务中的平均表现最佳，其线性探测 AUROC 达 88.63%，优于医疗报告的 85.68%。限制数据集至眼底图像数量、医疗报告数据量或与评估无关的文章均未降低性能，表明性能提升源于领域密度。研究组已发布该数据集、微调模型及完整生成流程。