SGLang
面向大语言与多模态模型的服务框架;模型性能与运行框架性能分开。
SGLang Project · 2026-10-26核对
- 主要任务
- 部署模型推理服务
- 输入
- 模型、硬件与服务配置
- 输出
- 模型推理服务
- 使用方式
- 自有计算环境,按项目硬件支持与安装文档部署
- 许可
- Apache-2.0(仓库标示)
官方入口与依据
已收录的关联变化
Perplexity CEO将出席SGLang峰会
据SGLang项目官方消息,Perplexity AI首席执行官Arav Srinivas将出席SGLang Summit。他将在“构建下一代计算机”主题演讲中,探讨多模型调度、长期运行代理的维护以及混合本地AI的愿景。该活动定于11月13日下午1:30在主舞台举行。
2026-11-02T22:14:41.364000+00:00
LMSYS与NVIDIA将举办SGLang部署活动
据X平台@sgl_project发布,LMSYS与NVIDIA Local AI团队将联合举办活动,指导用户使用SGLang部署Qwen3.8-27B模型。该活动旨在构建完全本地化的AI编程工作流,涵盖模型服务、推理端点测试及编程代理连接,无需依赖外部模型API。
2026-11-04T20:57:08.889000+00:00
SGLang峰会社区活动日历上线
据LMSYS Org公告,SGLang峰会社区活动日历已正式上线。该活动将于11月12日至13日在旧金山Fort Mason举行,涵盖超过20场社区活动,包括技术研讨会、技术聚会与演示,以及社交聚会。
2026-11-03T22:27:12.434000+00:00
SGLang Summit即将举行
据SGLang项目官方公告,SGLang Summit大会将于9天后举行。本次活动为期两天,内容涵盖推理、智能体、大规模推荐系统、安全、异构硬件及AI电影制作等技术深潜与动手工作坊。参会者可与工程师交流生产实践经验,并参与GPU展览与现场演示。
2026-11-03T19:38:50.028000+00:00
Eigent_AI宣布参加SGLang Summit 2026
据Eigent_AI发布,该公司将参加SGLang Summit 2026。此外,Eigent_AI表示已为前沿实验室构建了超过30种强化学习环境,涵盖机器学习等领域。
2026-11-03T11:29:52.172000+00:00
SGLang支持Spark-X2.6-1.7B模型
据SGLang公告,其已实现对SparkLLM旗下Spark-X2.6-1.7B端侧模型的Day-0支持。该模型采用与Spark-X2.5-1.7B相同的架构,参数量不足Spark-X2.6-4B的一半,具备更强的编码、智能体及长上下文处理能力。此外,该模型支持可控的思考预算,提供无、低、高三个等级选项。
2026-10-28T06:46:23.247000+00:00
LMSYS发布DeepSeek与SGLang性能解析
据LMSYS于2026年10月24日发布的博客,该机构解析了DeepSeek模型在生产级推理栈中的性能表现。文章重点探讨了DeepSeek的性能基准,以及SGLang在工程优化方面如何进一步提升推理效率,并展示了其在生产就绪服务栈中的集成应用。
2026-10-24T19:44:36.804000+00:00
SGLang推出低延迟模式
据LMSYS Org公告,SGLang推出低延迟模式,该模式由NVIDIA与AMD共同构建。在DeepSeek-V4.1-Flash模型上,该模式通过DSpark技术提升了吞吐速度。测试显示,在NVIDIA GB300上P90每用户token速度提升至1.38倍,在AMD MI355X上提升至1.56倍。此外,该系统引入了支持自动回退的插件系统,并计划后续支持GLM-5.3、K3及MiniMax M3模型。
2026-10-20T00:39:06.082000+00:00