谷歌云发布llm-d 1.0分布式推理栈

发生了什么

据Google Cloud报道，其分布式推理栈llm-d 1.0已发布，支持缓存感知路由与TPU/GPU集群调度。该开源、Kubernetes原生的层将vLLM或SGLang模型服务器整合为协调池，旨在解决自托管代理和RL工作负载中轮询负载均衡失效的问题。性能提升来自缓存感知路由、分层KV缓存卸载和预填充/解码解耦。