研究提出LatentLoop模型架构

发生了什么

据Hugging Face Papers发布的研究，LatentLoop是一种通过非对称计算分配扩展循环混合专家（MoE）模型性能的新架构。该方法通过压缩循环中的首次访问序列并保留第二次访问的全分辨率，将节省的计算资源重新分配以增加模型隐藏层维度。研究在跨越15种配置的测试中，结果显示该架构能降低验证负对数似然（NLL），并在九项基准测试中提升了零样本和少样本场景下的平均得分。