arXiv提出ReDiST推理蒸馏框架

发生了什么

据arXiv cs.CL发布的研究，团队提出ReDiST框架以构建基于学生条件的推理轨迹。该框架从学生尝试出发，结合证据和验证答案修正草稿，并通过冻结的学生匹配阅读器筛选候选轨迹。实验显示，ReDiST在问答基准测试中提升了源任务和跨基准性能，优于仅答案监督和原始轨迹基线。研究强调需在不同分布下评估轨迹教学效用。