论文提出Transformer权重对称性感知方法

发生了什么

arXiv cs.LG论文提出基于图元网络的Transformer语言模型权重对称性感知方法。研究指出Transformer权重空间具有比MLP更丰富的对称群，包括注意力矩阵的连续一般线性对称性和头部的排列。现有方法未能完全覆盖这些对称性或局限于固定架构。作者形式化了完整解码器语言模型的权重空间对称群，提供了不变图构建方法，并引入了两个新数据集（训练语料预测和微调检测），在该方法上显著优于现有基线。