arXiv提出PASS方法克服SFT长尾先验屏障

发生了什么

据arXiv论文，研究引入“先验屏障”概念量化预训练模型对目标概念的支持强度。发现先验屏障呈长尾分布，导致尾部概念在监督微调（SFT）中表现较弱。为此提出PASS方法，通过自适应指令选择分配预算，优先覆盖证据不足的概念。实验显示该方法在四种骨干-预算设置下均优于七种最先进指令选择方法，消融研究证实自适应分配优于均匀分配。