商汤大装置发布PD/AF分离架构

发生了什么

商汤大装置副总裁宣善明在CSDI Summit峰会上发表演讲，介绍其PD/AF分离架构。该架构通过异构推理与资源协同，使Token吞吐量提升5倍。未来AF分离有望提升单卡吞吐150%-200%，降低运营成本30%-40%。商汤大装置平台日均Token服务量达6万亿，预计2026年将实现25倍增长。