OpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch
OpenAI 在周二举行的 Hot Chips 会议上展示了其 Jalapeño 芯片的首批基准测试结果，显示其在 SemiAnalysis 的 InferenceX 测试中比现有的最先进的推理处理器拥有更高的每用户令牌数和每千瓦吞吐量。OpenAI 硬件负责人 Richard Ho 表示，Jalapeño 能更高效地处理更多 AI 工作并降低延迟，其对比对象为英伟达 Blackwell 系统。该芯片由 OpenAI 与博通合作开发，旨在通过全栈方法优化推理过程中的预填充和通信阶段，减少数据移动和通信延迟。Jalapeño 计划于 2026 年底以极小规模部署，主要大规模部署预计将在 2027 年进行。