国产GPU实际推理效率仅达理论值一成

发生了什么

据钛媒体分析，国产GPU在实际推理中Token输出能力仅为标称理论值的10%左右，尽管其标称算力可达国际主流产品的70%-80%。行业专家指出，问题源于上下层软件未匹配及分布式架构中的数据流转瓶颈。随着推理需求爆发，产业转向通过中科曙光等企业的系统级创新，如scaleFabric网络和GPUStack标准化软件栈，来弥补单卡性能差距。