Inferact发布TPU Megakernel推理加速

发生了什么

据量子位9月26日报道，Inferact发布TPU Megakernel，16块谷歌TPU v7跑Kimi K3每秒709个Token，比英伟达GB200快57%。该方案由Inferact与Google Cloud联合工程合作完成。Inferact今年完成1.5亿美元种子轮融资，估值8亿美元。