ShellElastic：弹性预训练Transformer新架构

发生了什么

据Hugging Face Papers报道，Can Jin等人提出ShellElastic框架。该架构将隐藏维度组织为密集核心和连续外壳，使每个隐藏矩阵呈块下三角结构。通过引入muE扩展最大更新参数化（mup），确保所有子网络同时被最大更新，并实现超参迁移。单模型运行产生的子网络在匹配参数量下优于MatFormer等基线。