论文复现五种LLM事实性对齐方法均失败

发生了什么

据arXiv cs.CL论文，研究独立复现了PPO、GRPO、Dr. GRPO、DPO和KTO五种事实性对齐方法。在共同基准测试中，这些方法均未显著超越基座模型。研究发现奖励机制优化的是格式或长度而非事实性，且评估指标未能衡量文本与提示的相关性。