ProtLingo：利用条件记忆和专家路由实现高效的蛋白质语言建模

2026 年 9 月 7 日，arXiv 发布了名为 ProtLingo 的新型高效蛋白质语言模型框架。该模型采用条件局部记忆和稀疏专家路由机制，在保持 1.5 亿参数规模骨干网络的同时实现了与现有方法相当的性能。ProtLingo 将上下文残基表示映射为特定路线的离散代码，组成中心局部窗口以生成潜在 N-gram 地址，并检索与重复局部序列上下文相关的可重用残差信号；同时，部分前馈块被升级为共享且路由的稀疏混合专家层，仅在激活参数子集时执行依赖残基的计算。在蛋白质适应性预测、FLIP 基准测试及监督接触预测等实验中，该模型展现出高参数效率并保留了长程结构表示能力，特别是在突变效应预测方面表现优异。