SummaryAI generated
2026 年 9 月 8 日，Cohere 在其官方博客宣布推出名为 North Mini Code Megakernel 的新型服务引擎。该引擎专为代码生成与推理任务设计，旨在通过整合多模态上下文处理机制，显著提升大语言模型在编程领域的响应速度与准确性。此发布标志着 Cohere 在垂直领域专用模型基础设施上的最新技术突破，目前尚未披露具体的性能基准数据或商业化部署计划。
Related eventsRELATED EVENTS
Key entitiesKEY ENTITIES
CohereNorth Mini Code
Coverage · reports per dayLANGUAGE SPLIT
Entity relations
SignalsSIGNALS
All reports (1)SOURCES
↗
Cohere 推出基于解码兆核（decode megakernel）的北小代码（North Mini Code）服务引擎，在单张 H100 设备上实现 BF16 精度下比 vLLM 端到端快 1.25 倍至 1.41 倍。该引擎通过消除传统 LLM 服务栈中逐层等待的延迟，将原本分散的前向传播（如 QKV、注意力、MoE）整合为单一内核执行，有效解决小批量推理时 GPU 因内存带宽受限导致的空闲问题。North Mini Code 是一款 30B 参数规模的代理编码模型，旨在提升企业级 AI 部署效率。