指令微调降低大模型事实回忆能力

发生了什么

arXiv cs.CL的一篇研究论文指出，指令微调会降低大模型的事实回忆能力，并提出了无需检索的基座模型提示词优化方法。研究者在AKBC LM-KBC 2026共享任务中，使用基座模型通过文本完成方式提示，取得了0.6836的分数，超过指令微调模型的0.5681。研究认为指令微调存在‘指令税’效应，通过基座模型提示词优化方法可提升效果。