Transformer需位置编码保留时间序列顺序

发生了什么

据Towards Data Science9月5日分析，Transformer的自注意力机制无法区分相同数值的不同时间步（如周三与周五温度相同则嵌入向量相同）。若无位置信号，模型无法知晓观测在序列中的发生位置，因此必须引入位置编码以恢复顺序信息。