arXiv发布BioBigBird生物医学长文本模型

发生了什么

据arXiv cs.CL报道，研究团队推出BioBigBird，这是一种针对生物医学文本长程依赖处理的稀疏注意力双向语言模型。该模型预训练于广泛的生物医学文献和临床数据，利用稀疏注意力机制处理长达4096个token的序列，并通过多阶段训练减轻噪声。此外，采用多任务学习框架联合优化命名实体识别和关系提取，在BLURB基准测试中取得具有竞争力的结果。