MEOX: Compact Multimodal Mixture-of-Experts for Earth Observation
MEOX 提出一种紧凑的多模态混合专家模型,其编码器参数为 293.9 万,总参数量为 311.5 万。该模型采用传感器特定适配器、显式有效性信号及共享稀疏专家块进行预处理,随后通过十四层编码器块与四个元数据令牌完成融合。模型在 122.8 万个 MMEarth64 样本上进行预训练,并在六个 GEO-Bench 任务中评估冻结迁移效果。在 64 像素尺度下,其现金果分割平均交并比达 64.42%,超过 CSMoE 结果;在 224 像素尺度下,EuroSAT 平均准确率为 90.56%。此外,BigEarthNet 微调微平均精度为 72.95%,元数据带来 0.64 个百分点的提升。