英伟达优化Kimi K3推理速度

发生了什么

据IT之家10月18日报道，调研机构SemiAnalysis发文称，英伟达通过上游vLLM优化，使2.8万亿参数量的Kimi K3模型在GB300 NVL72硬件上实现423 tok/s/user的推理速度。该优化由英伟达CentML工程师Benjamin完成，性能较此前提升1.68倍。优化采用大规模Megakernel融合及Cute DSL编写解码专用内核，包含1.2万行代码。