解析GRPO训练小型语言模型机制

发生了什么

据Towards Data Science报道，GRPO通过可验证奖励训练小型语言模型。GRPO引入DeepSeekMath工作，作为传统PPO训练的替代方案。与PPO不同，GRPO不从单独的critic获取基线，而是从同一提示词采样的一组响应中获取基线，比较多个尝试的实际表现。奖励函数定义成功标准，例如当响应中包含特定字符串时给予奖励。