SGLang推出低延迟模式

2026-10-20 08:391 篇报道1 个发布方

发生了什么

据LMSYS Org公告，SGLang推出低延迟模式，该模式由NVIDIA与AMD共同构建。在DeepSeek-V4.1-Flash模型上，该模式通过DSpark技术提升了吞吐速度。测试显示，在NVIDIA GB300上P90每用户token速度提升至1.38倍，在AMD MI355X上提升至1.56倍。此外，该系统引入了支持自动回退的插件系统，并计划后续支持GLM-5.3、K3及MiniMax M3模型。

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

X · @lmsysorg2026-10-20 08:39来源报道
Introducing SGLang Low-Latency Mode, built with @NVIDIAAI and @AMD. On DeepSeek-V4.1-Flash with DSpark, it delivers up to 1.38× P90 per-user

来源关系与证据边界

按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。

来源报道1 个发布入口

发生了什么

Introducing SGLang Low-Latency Mode, built with @NVIDIAAI and @AMD. On DeepSeek-V4.1-Flash with DSpark, it delivers up to 1.38× P90 per-user