PetQA: Benchmarking Veterinary Knowledge and Clinical Reasoning
研究人员发布了 PetQA，这是一个包含 10,076 个文本问答对和 8,751 个多模态问答对的韩国长文档问答基准测试数据集，用于评估大型语言模型和大型视觉 - 语言模型在兽医知识和临床推理方面的表现。该数据集源自关于犬猫的真实世界问题，并配有专家兽医的答案；其测试集 PetQA-Bench 还包含问题类型和临床条件的标注。研究团队利用 ROUGE、BERTScore 及 LLM-as-a-judge 指标，在零样本推理、检索增强生成和监督微调三种设置下对十八个模型进行了评估。基准测试结果概述了当前模型在处理兽医临床查询方面的优势与局限，并强调了开发更有效的适应方法以构建可靠兽医 AI 系统的必要性。此外，研究组提供了 PetQA-Bench 的五种语言翻译版本以促进广泛使用。