研究构建线性注意力Transformer执行因果学习

发生了什么

据arXiv cs.LG 2026年10月7日论文报道，研究人员构建了一个固定权重的线性注意力Transformer，能够精确执行因果结构学习算法中的更新步骤。该Transformer在正向传播中完全复现了连续方法的一次更新，并通过保留乘数来确保不同乘数值下的准确更新。实验显示，该构建块与参考求解器达到浮点精度一致，在合成数据和七个基准网络拓扑上继承了参考求解器的成功与失败，从而将准确的算法执行与准确的因果恢复分离开来。普通注意力模型在训练预算下未能可靠执行更新。