Meta发布816B模型Muse Spark Open

发生了什么

Meta发布了816B参数（42B激活）的开源权重模型Muse Spark Open，该模型采用MoE架构，包含62层结构。据Artificial Analysis评测，该模型在Artificial Analysis Intelligence Index中得分为39。在硬件表现方面，NVIDIA GB300与B300在吞吐导向配置下均达到约150M tokens/s/MW的能效，AMD MI355X在更新配方后达到70M tokens/s/MW。该模型通过46层使用2,048 token滑动窗口注意力机制，在1M上下文下将KV缓存需求降低了约75%。