NVIDIA Dynamo-Triton 26.07支持多卡推理
发生了什么
据NVIDIA Developer Blog报道，Dynamo-Triton 26.07版本发布，支持TensorRT多设备推理。该功能利用NCCL分布式集合，使单个网络能在多GPU上执行。以Cosmos 3 Nano为例，在8卡配置下，端到端延迟从156.595秒降至34.183秒，Transformer RPC加速达6.09倍。
- 端到端延迟
- 34.183秒
- RPC加速比
- 6.09x
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口