AWS发布Ray Serve DLC简化推理

发生了什么

据AWS ML Blog，TorchServe已停止维护，存在安全与兼容性风险。为此，AWS推出Ray Serve深度学习容器（DLC），将预构建、优化的镜像方案扩展至推理领域。该容器专为HTTP端点服务设计，由AWS维护测试，旨在解决工程师在GPU栈版本选择及漏洞修补上的负担，加速模型交付。