llm-d支持Kimi K3.1 Pro分布式推理

发生了什么

据llm-d发布的技术指南，Moonshot AI的Kimi K3.1 Pro大模型现可通过llm-d框架在TPU（Ironwood TPU v7x）与GPU（GB300 NVL72）集群上进行分布式推理部署。该模型具备约2.8万亿参数、100万token上下文窗口及混合注意力架构。llm-d通过状态感知KV路由、分层KV缓存卸载、预填充/解码分离及推测解码等技术，解决多节点张量与专家并行下的资源瓶颈。部署方案支持在Google Cloud GKE环境下通过Helm与Kustomize进行配置。