PAR方法解决循环语言模型长度外推难题

发生了什么

据Hugging Face Papers报道，研究人员提出PAR方法，通过进度对齐递归与范数锚定解决循环语言模型长度外推难题。该方法训练模型在迭代k时匹配前k步的状态，并重置循环状态到初始迭代范数，实现长序列跟踪任务中的强长度外推。在swap-S5任务上，一个Qwen2.5-0.5B模型在最多32步训练下，于512步时达到95.5%的全状态准确率，是训练长度的16倍。去除范数锚定将外推倍数降至2.2倍以下，使用最终答案监督则降至8倍。