研究发现大模型上下文纠缠由共享注意力头引起

发生了什么

据arXiv论文，研究通过19种词汇语义子类型的事实-干扰关系补全提示，发现大模型的上下文纠缠（Contextual Entrainment）并非由特定关系的隔离电路引起。消融实验显示，移除全局共享的注意力头可减弱家庭残差并减少有害复制，同时保留普通关系补全能力。这表明缓解有害上下文跟随应使用异构攻击提示揭示可重用的干预目标，而非搜索孤立的关系特定电路。