Recurrent Looped Transformer增强泛化能力

发生了什么

据Hugging Face Papers报道，Recurrent Looped Transformer (RLT) 使用带反馈的循环解码器，使每个token的计算深度随序列长度增长。在算法任务测试中，RLT在奇偶校验、排列跟踪和模运算任务上显著优于传统Transformer，例如在256位奇偶校验任务中达到100%准确率，而Transformer处于随机水平。