Cohere's North Mini Code Megakernel Serving Engine | Cohere
Cohere 推出基于解码兆核（decode megakernel）的北小代码（North Mini Code）服务引擎，在单张 H100 设备上实现 BF16 精度下比 vLLM 端到端快 1.25 倍至 1.41 倍。该引擎通过消除传统 LLM 服务栈中逐层等待的延迟，将原本分散的前向传播（如 QKV、注意力、MoE）整合为单一内核执行，有效解决小批量推理时 GPU 因内存带宽受限导致的空闲问题。North Mini Code 是一款 30B 参数规模的代理编码模型，旨在提升企业级 AI 部署效率。