i14与AWS适配Laplace 3B模型至Trainium2

发生了什么

据AWS ML Blog报道，i14与AWS合作将Laplace 3B线性注意力模型适配至AWS Trainium2，实现约12万token/秒训练吞吐。该模型使用Gated Linear Attention (GLA)设计，其 recurrent state 维持在29.5 MB/序列，独立于上下文长度。在AWS trn2.48xlarge实例上，Laplace 3B训练速度达约12万token/秒，服务速度为11,544 output tokens/秒，支持1,280个并发序列。i14是一家AI研究与科技公司，致力于开发无需服务状态随每个token增长即可保持长程上下文的模型架构。AWS Trainium是专为模型训练和推理设计的ML加速器，其trn2.48xlarge实例包含16个Trainium2芯片、64个逻辑NeuronCores、高带宽内存和NeuronLink-v3连接。