Perplexity详解GPU嵌入推理栈架构

发生了什么

MarkTechPost报道，Perplexity Engineering团队发布文章详解其pplx-embed嵌入模型的GPU推理基础设施。该系统由Ivy（Rust HTTP网关，负责CPU端处理与负载均衡）、Tulip（gRPC推理服务器接口，负责调度与批处理）和ROSE（Python实现的运行时优化推理引擎，管理CUDA图）组成。Perplexity通过构建全模型CUDA图和懒捕获机制优化小批量下的性能，解决了CPU内核启动开销超过GPU执行时间的问题。