AWS详解部署Qwen3.8-2.4T模型

发生了什么

据AWS ML Blog报道，阿里通义千问团队于2026年8月12日发布开源权重模型Qwen3.8-2.4T-A95B，总参数量2.4万亿，激活参数950亿，原生上下文262K tokens。AWS博客详细介绍了在Amazon SageMaker HyperPod上使用vLLM部署该模型的方法，基于ml.p6-b300实例（8× NVIDIA B300 Blackwell Ultra GPUs）。模型采用混合线性加全注意力架构，其中69层门控DeltaNet使用线性注意力，23层门控注意力使用全二次注意力，保持计算和内存有界。细粒度MoE分布在512个小专家上，每次前向传播仅激活约950亿参数。