商汤分享异构混推创新实践提升Token效率

发生了什么

据量子位报道，在近日举办的“2026全球AI芯片峰会·Token工厂异构混训混推技术研讨会”上，商汤大装置资深技术专家罗伟发表演讲，分享商汤大装置在异构推理架构、模型适配及关键技术演进等方面的实践。商汤大装置的日均Token服务量，已经从年初2月的0.46万亿，增长至8月4.5万亿。面向未来多模态、MoE模型的发展，商汤大装置的架构演进方向是进一步走向模块级资源池化，将不同模块拆分为独立资源池，各自按负载特点弹性扩缩容。