高温采样缓解生成模型坍塌

发生了什么

据arXiv cs.LG报道，研究人员提出通过高温采样缓解生成模型训练中的模型坍塌现象，并在LSTM与GPT-2上验证了有效性。高温采样通过使预测分布扁平化，防止学习到的算子项变得极小，从而保持特征值远离单位圆，缓解模型坍塌。