华盛顿大学提出COUNT：N-gram计数解锁主机内存扩展与免训练适配

发生了什么

据arXiv论文及Hugging Face Papers报道，华盛顿大学团队提出COUNT技术。该方法通过存储预计算的n-gram计数构建嵌入，无需增加学习参数即可利用主机内存进行模型扩展。在固定计算预算下，COUNT可作为附加输入嵌入用于预训练1B参数语言模型，其验证损失改善效果等同于增加57%的计算量。此外，COUNT允许在推理时切换不同领域的n-gram计数表，实现免训练任务适配。