ProtModernBERT发布：训练成本降低80-90%

发生了什么

据arXiv论文，ProtModernBERT通过现代架构优化实现计算高效的蛋白质语言建模。该模型在预训练中相比ProtBert减少80-90%的FLOPs，性能匹配Amplify-120M，并缩小与ESM2的差距。分析显示，现代组件提供的归纳偏置比参数量在低算力 regime 中更具决定性作用。