Cohere发布North Mini Code推理引擎
发生了什么
据Cohere Blog，Cohere发布了针对North Mini Code的推理服务引擎。该引擎基于解码Megakernel技术，在单张H100上运行BF16模型。测试显示，其端到端速度比vLLM快1.25至1.41倍；在批次大小为1时达到292 tok/s，比vLLM快1.58倍。性能提升跨越不同批次大小及256K上下文长度，且未造成可测量的精度损失。
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口