FOLD：无需训练的长上下文投机解码方法

发生了什么

据arXiv论文报道，研究提出FOLD方法，一种无需训练的长上下文投机解码技术。该方法保留精确局部位置并将远处条目视为共享位置的远内存，通过锐化注意力机制对抗稀释。在最高256K token的基准测试中，FOLD主要提供最高加速比，最佳案例将自回归解码速度提升从2.08倍增至4.22倍。