Latent-MOPD通过隐藏状态整合多专家LLM实现在线蒸馏

发生了什么

据Hugging Face Papers报道，Latent-MOPD是一种新的多教师在线蒸馏方法，通过隐藏状态和预测级监督整合多个专家LLM至单一学生模型。实验显示，该方法在数学、代码和逻辑基准测试中超越了单通道基线及多数独立教师模型。