智迹闻AuraTracer
EN

EVENT DOSSIER

在 SageMaker AI 上对小规模 LLM 推理进行基准测试:G7 与 G5 和 G6 的对比

2026-09-09 00:21 芯片与硬件 🔥 42.2 事件热度
1家信源
1天持续发酵
42.2事件热度
4个提及
摘要由 AI 生成

2026 年 9 月 8 日,亚马逊云科技在其机器学习博客中发布基准测试报告,对比评估 SageMaker AI 平台上的 G7、G5 和 G6 GPU 实例。新推出的 G7 实例搭载 NVIDIA Blackwell GPU,在吞吐量、延迟及每 token 成本方面均实现可衡量的提升。测试通过两个用例进行:一是使用 Qwen3-Coder-30B 模型,对比 ml.g5.12xlarge (A10G)、ml.g6.12xlarge (L4) 和 ml.g7.12xlarge (RTX PRO 4500 Blackwell) 实例的性能与价格;二是使用 NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4 模型,结合 vLLM 评估 G6、G6e 和 G7 配置以识别最佳性价比方案。文章还…

相关事件RELATED EVENTS
关键实体KEY ENTITIES
Amazon SageMaker AINVIDIA Blackwell GPUsNVIDIA Nemotron-3-Nano-30B-A3B-NVFP4Qwen3-Coder-30B

报道态势 · 每日报道量LANGUAGE SPLIT

实体关系
Amazon SageMaker AI × N…1Amazon SageMaker AI × N…1Amazon SageMaker AI × Q…1NVIDIA Blackwell GPUs ×…1NVIDIA Blackwell GPUs ×…1NVIDIA Nemotron-3-Nano-…1

信号强度SIGNALS

关键词热度
  • Amazon SageMaker AI1
  • NVIDIA Blackwell GPUs1
  • Qwen3-Coder-30B1
  • NVIDIA Nemotron-3-Nano-30B-A3B-NVFP41

全部报道(1)SOURCES

A AWS ML Blog en 2026-09-09 00:21

Benchmarking small LLM inference on SageMaker AI: G7 vs G5 and G6

亚马逊云科技在 SageMaker AI 上对比 G7、G5 和 G6 GPU 实例,验证新推出的 G7 实例(搭载 NVIDIA Blackwell GPU)在吞吐量、延迟及每 token 成本方面均实现可衡量的提升。文章通过两个用例展示评估方法:一是使用 Qwen3-Coder-30B 模型,对比 ml.g5.12xlarge (A10G)、ml.g6.12xlarge (L4) 和 ml.g7.12xlarge (RTX PRO 4500 Blackwell) 实例的性能与价格;二是使用 NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4 模型,结合 vLLM 评估 G6、G6e 和 G7 配置以识别最佳性价比方案。此外,文章介绍了 SageMaker AI 生成式 AI 推理推荐…