推出8B参数连续流语言模型Lafa

发生了什么

据arXiv cs.CL发布，研究人员推出8B参数连续流语言模型Lafa，通过块状流架构实现2.54倍自回归吞吐量。Lafa采用因果注意力前缀和块内双向异步流设计，以数据高效方式扩展至8B参数。在指令跟随、推理和编码任务中，Lafa的性能与AR模型相当或更优，并能蒸馏成流图。其通过多标记预测效果保留或提升预训练AR能力，实现自推测解码方案，在单模型内自回归验证流式草稿，吞吐量比AR模型高2.54倍，优于多标记预测和离散扩散方法。