神经元损毁模拟语言模型失语症

发生了什么

据arXiv cs.CL发布的研究，通过损毁语言模型中的神经元，发现不同架构展现出独特的失效模式与级联衰退特征。LSTMs在MLP损毁下逐渐退化，句法和语义能力平行下降；Transformers在MLP损毁下出现晚期阈值式崩溃，在注意力头损毁下呈现更平滑的Sigmoid式衰退。MLP损毁模型类似Wernicke型失语症，持续进行语义替代；注意力头损毁模型则趋向于语义特异性丧失，类似语义变异型原发性进行性失语症。研究指出，前馈和注意力通路具有不同的功能失效模式，为失语症和神经退行性疾病提供了新的计算视角。