AWS提出Priming方法，预训练成本降99%

发生了什么

据Amazon FAR报道，AWS团队提出“Priming”方法，利用预训练Transformer权重作为起点，将混合架构（如结合状态空间模型）的预训练成本降低超过99%。该方法允许开发者在不从头训练的情况下探索不同架构设计。研究发现，Gated KalmaNet (GKA) 在受控条件下表现最佳，且支持可变长度推理计算而不需重新训练。一个320亿参数的GKA混合模型在推理基准测试中与源Transformer匹配，解码速度提升两倍，上下文窗口达128,000 tokens。相关模型、代码及插件已开源。