Prime Intellect推出Prime Inference推理服务

发生了什么

据MarkTechPost报道，Prime Intellect已推出Prime Inference，这是一个面向前沿开源模型的推理服务平台，提供Serverless端点和预留容量服务。该平台基于NVIDIA Blackwell GPU构建，支持OpenAI兼容API，并集成了Dynamo、vLLM、Mooncake和FlashInfer等技术栈。在GLM-5.3模型测试中，平台实现了每用户每秒101个token的交互速度，并通过NVFP4 KV压缩将每个解码器的缓存令牌数从1.09M提升至1.63M。目前定价尚未完全公布，但竞争对手如Together AI等对GLM-5.3的输入/输出价格约为$1.40/$4.40 per 1M tokens。