AWS发布Ray LLM DLC支持多节点推理

发生了什么

据AWS ML Blog报道，AWS发布Ray LLM Deep Learning Containers (DLC)，支持在Amazon EKS上部署多节点LLM推理工作负载。该方案利用Ray Serve将大模型分布在两个GPU节点上，分别处理prefill和decode阶段，通过NIXL传输KV缓存，并通过EFA实现高速节点间通信。此架构适用于RAG、文档摘要和代理应用，提供OpenAI兼容API，无需编写自定义应用代码。