Baseten重构大模型增量权重同步架构

发生了什么

据Baseten技术博客，该公司重构了大模型增量权重同步架构，通过直接在GPU上操作权重并移除CPU内存中的完整副本，显著提升了同步效率。针对GLM-5.3模型，同步时间从36秒缩短至15秒，请求暂停时间从6秒降至0.8秒，吞吐量提升最高达3.2倍。此外，该架构通过优化校验算法及流水线解码，支持了Kimi K3模型在GB300节点上的部署，解决了此前受限于CPU内存的瓶颈。