BELT大模型推理早停方法提出

发生了什么

arXiv cs.AI发布研究提出BELT大模型推理早停方法，通过分离结果预测与停止控制减少token消耗。该方法从冻结LLM的隐藏状态学习关于当前和未来答案的信念，并拟合线性停止策略。在五个分布外数学基准上，BELT在Qwen3-1.7B上减少41%的生成token，在OLMo-3-7B-Think上减少51%，且无精度损失。BELT的探测器参数比最强基线OS-Pruner少21.2倍，训练GPU小时数少55倍。