arXiv提出reViT：单块循环ViT实现多深度专家混合

发生了什么

据arXiv cs.LG报道，论文提出reViT模型，通过单个Transformer块循环应用并结合深度编程的专家混合（MoE），在可比推理FLOPs下匹配全深度视觉编码器的精度。从头训练的reViT-B/16比DeiT III少约70%存储参数。弹性深度训练允许同一检查点在多个深度运行。