NVIDIA发布开源虚拟推理路由器PAIR

发生了什么

据MarkTechPost报道，NVIDIA发布开源虚拟推理路由器PAIR（v0.1.1），支持跨RTX、DGX Spark和Mac节点调度本地AI请求。该工具通过mDNS自动发现兼容机器，利用六位数PIN码建立信任并使用mTLS加密通信。它不引入新API，而是代理Ollama和LM Studio接口，将独立推理请求分配至单节点，不合并显存或分片模型。演示中，五子智能体工作负载在单台RTX Spark笔记本上耗时18分钟，而在由RTX Spark、DGX Spark和RTX 5090组成的三设备集群上平均缩短至8分48秒。