AWS发布SageMaker模型缓存功能

发生了什么

据AWS ML Blog，AWS推出Amazon SageMaker Inference on HyperPod的模型缓存功能。该功能预加载模型权重和容器镜像至节点本地NVMe存储，读取速度约7 GB/s。启用后，Pod启动服务时间从数十分钟缩短至秒级，显著降低自动扩缩容响应延迟。