arXiv论文提出EOS算法优化大模型生成

发生了什么

据arXiv cs.LG报道，一篇论文提出熵在线采样（EOS）算法以解决大语言模型解码中的重复和退化问题。该算法基于信息论，旨在通过在线方式最大化采样分布的熵，同时保持输出在模型下的合理性。研究证明，EOS在前缀上重新求解温度，相比离线最优解仅损失O(R log n)熵，且预算超调量也为O(R log n)。实验确认EOS能跟踪离线温度，并在熵指标上优于固定温度采样。