英伟达优化vLLM使Kimi K3推理提速1.68倍
发生了什么
据DoNews·快讯报道，2026年10月18日，英伟达CentML工程师Benjamin利用Megakernel融合技术优化vLLM框架。该优化使拥有2.8万亿参数的Kimi K3模型在GB300 NVL72硬件上的推理速度提升至423 tok/s/user，较此前提升1.68倍。此项技术采用Cute DSL编写，包含1.2万行代码，专为解码任务设计。
- 推理速度提升倍数
- 1.68倍
- 模型参数规模
- 2.8万亿
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- DoNews·快讯自动改写／传播记录
英伟达优化vLLM使Kimi K3推理速度提升1.68倍
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口