DeclineCraft基准测试发布

发生了什么

据arXiv cs.CL报道，研究人员推出DeclineCraft基准测试，用于评估大语言模型在RAG场景下的正确拒绝回答能力。该测试测量模型在无答案问题时承认知识不足的频率。研究涉及27个LLM，发现单次检索显著提高CAR，迭代RAG降低CAR，混合检索和大型模型提升准确性，但模型大小与CAR无显著关联。