RunAnywhere开源GLM-5.3-Flash推理引擎

发生了什么

RunAnywhere发布并开源了面向AWS Trainium2的GLM-5.3-Flash推理引擎及NKI megakernels优化方案。该引擎支持在单台trn2.48xlarge实例上运行320B参数的MoE模型，并具备1M token上下文处理能力。通过将层级操作重写为NKI内核并优化内存与计算调度，该方案在batch-8解码步骤中实现了性能提升。据RunAnywhere自测，在AgentX基准测试中，单机最高可达每分钟28.9个代理请求，16个代理并发时中位解码速度为35.9 tokens/s。