AWS发布SageMaker G7实例基准测试

发生了什么

据AWS ML Blog报道，AWS在Amazon SageMaker AI Inference上对搭载NVIDIA Blackwell GPU的新G7实例进行了基准测试，对比G5和G6实例。测试使用两个代表性的30B MoE模型，通过Generative AI推理推荐功能评估吞吐量、延迟和每token成本。结果显示G7实例在吞吐量、延迟和每token成本方面带来可衡量的提升，适用于AI编程助手等用例。