Perplexity探讨自蒸馏机制

发生了什么

据Perplexity官方发布，强化学习方法如GRPO通常仅在尝试后提供单一奖励，无法明确各步骤的有效性。为此，自蒸馏机制通过引入教师模型的逐Token反馈进行改进。在该机制中，同一模型同时扮演教师与学生角色，其中教师模型利用已验证的解决方案等额外信息进行指导。