vLLM与SGLang优化大模型推理启动

发生了什么

CNCF发布分析报告，探讨大模型推理服务启动延迟的优化方案。vLLM与SGLang通过权重复用、持久化守护进程及快照恢复等机制，旨在减少模型加载、内核编译及引擎初始化耗时。vLLM引入了持久化权重守护进程（Fast Start）及实验性引擎快照功能，支持通过CUDA进程间通信共享权重。SGLang则通过权重缓存守护进程实现类似功能，并规划了引擎快速恢复路线图。这些技术通过复用已初始化的状态与编译产物，缩短推理实例的就绪时间。