Cola2框架结合连续语义压缩与离散生成

发生了什么

据Hugging Face Papers报道，Cola2语言建模框架通过连续语义压缩与离散生成，在多项任务中表现优异。该框架动态分割文本为语义片段，控制压缩率，并联合学习连续语义表示与离散文本生成。实验表明，Cola2在五个下游任务中表现具有竞争力，其未收敛的检查点在八项任务上平均达到60.10，并在HellaSwag和StoryCloze上超越Llama-3-8B。该框架计划在未来几周内开源8B模型。