arXiv发布随机特征高斯过程注意力模块

发生了什么

据arXiv论文，研究者提出随机特征高斯过程注意力（RFF-GPA）模块。该模块将注意力表示为具有平稳核的高斯过程，并通过随机傅里叶特征进行低秩近似。实证结果显示，该方法在保持预测精度的同时改善了校准，并将计算复杂度降低至序列长度的线性时间。