NVIDIA详解CC对AI推理性能影响

发生了什么

据NVIDIA Developer Blog报道，文章分析了机密计算（CC）对TensorRT LLM推理性能的影响。指出在Blackwell GPU上运行CC需进行适配以维持高性能，并通过长上下文、低并发等工作负载特征来量化加密带来的开销。