百度开源 280B 参数 ERNIE 5.5 Flash Base

发生了什么

百度发布 ERNIE 5.5 Flash Base 模型，该模型为总参数 280B、每 token 激活 14B 的稀疏 MoE 架构。模型在 33.5T tokens 上完成预训练，支持 128K 训练上下文及 1M 推理上下文。官方称该版本未经后训练，权重以 FP8 和 BF16 格式在 Hugging Face 等平台开源。百度自报在 30 项基准测试中表现优于同类模型，并指出其许可协议对年收入 5000 万美元以下用户免费，但排除欧盟、英国及韩国地区。