研究揭示LLM对语篇粒子敏感性机制

发生了什么

据arXiv cs.CL论文显示，研究通过行为和机制分析调查了大语言模型（LLM）对“just”和“only”等语篇粒子的敏感性。研究发现LLM与人类同样偏好这些粒子在语境中的存在，且对“just”更敏感；指令微调增加了这种敏感性。机制分析定位了LLM中粒子敏感单元，发现“only”单元选择性转移到排他性“just”，而所有“just”单元均能同等转移到“only”，表明LLM词汇级粒子表征部分按语义组织。