Meta研究：字节蒸馏突破Token天花板

发生了什么

据量子位报道，Meta FAIR与华盛顿大学发布新研究，提出将大模型蒸馏的学习单位从Token转换为字节。团队开发了Marginalize-It和End-Of-Token两种方案，以Llama 3-8B为教师进行实验。预测显示，End-Of-Token蒸馏的准确率上限比传统Token蒸馏高出4个百分点，达到52.4%。该方案能以更少的训练数据实现更高能力上限，但需投入更多计算量兑现潜力。