ASRN自适应稀疏循环网络层发布

发生了什么

据r/MachineLearning报道，ASRN（自适应稀疏循环网络）作为一种语言模型层被提出，旨在实现长距离精确复制。该模型通过学习到的固有时间时钟和哈希槽机制，使每个片段仅关注最近的C个伙伴，从而实现线性内存消耗。此外，ASRN利用非单调响应门控机制，根据自激强度和重复序列决定复制时机。