vLLM
面向大语言模型推理与服务的引擎；吞吐量与适用条件以实际模型、硬件及配置为准。
vLLM Project · 2026-10-26核对
- 主要任务
- 部署模型推理服务
- 输入
- 模型、硬件与服务配置
- 输出
- 模型推理服务
- 使用方式
- 自有计算环境，按项目硬件支持与安装文档部署
- 许可
- Apache-2.0（仓库标示）
官方入口与依据
已收录的关联变化
Intel发布LLM-Scaler-vLLM PV 1.5
据Phoronix报道，Intel软件工程师发布了LLM-Scaler-vLLM PV 1.5。该版本将vLLM从0.14升级至0.26，PyTorch从2.10升级至2.12。新增支持Qwen3系列及Gemma-4模型，并引入在线FP8和对称INT4量化。性能方面提升了首Token生成速度、MTP解码及LoRA服务表现。
2026-10-16T09:04:22+00:00
vLLM与Megatron集成支持强化学习
据vLLM项目公告，vLLM与Megatron已实现集成，提供Day-0强化学习支持。该工作由Inferact完成，涵盖Kimi Delta Attention的训练与推理一致性，并包含长周期智能体服务所需的缓存与状态管理功能。
2026-11-04T17:04:19.194000+00:00
Kimi K3.1 Pro 模型适配 vLLM
据 vLLM 项目公告，Kimi K3.1 Pro 模型已实现 vLLM 首日适配。该模型支持 100 万 token 上下文窗口，适用于长代码编写、3D 创建及研究任务。在 Claude Code 评测框架下，Kimi K3.1 Pro 在 Terminal-Bench 4.0 测试中获得 65.7% 的分数。vLLM 为该模型提供跨 GPU 和 TPU 的服务支持，并包含强化学习（RL）支持。
2026-11-04T17:04:08.574000+00:00
英伟达优化vLLM使Kimi K3推理提速1.68倍
据DoNews·快讯报道，2026年10月18日，英伟达CentML工程师Benjamin利用Megakernel融合技术优化vLLM框架。该优化使拥有2.8万亿参数的Kimi K3模型在GB300 NVL72硬件上的推理速度提升至423 tok/s/user，较此前提升1.68倍。此项技术采用Cute DSL编写，包含1.2万行代码，专为解码任务设计。
日期未定