MoME提升小模型语义消歧

发生了什么

据Hugging Face Papers报道，MoME（混合记忆嵌入）通过上下文门控机制替换固定令牌记忆条目。该研究在nanochat、Llama-3/MobileLLM和Qwen3骨干网络上进行预训练实验，在等参数量和等训练FLOP设置下优于Value Embedding等基线。MoME利用学习到的路由器稀疏选择多个记忆槽，有效区分多义词的不同语境含义。此外，作者训练了一个亚十亿参数模型，在CORE-22基准上达到具有竞争力的性能。代码和预训练模型已公开。