PreSTO：预测性子树预取加速大语言模型Power采样推理

发生了什么

arXiv论文提出PreSTO（预测性子树预取），用于加速大语言模型的PowerMH采样推理。该方法将未来Metropolis-Hastings结果视为决策树，在单次模型调用中批量生成预取子树的提议，并保留原始MH接受规则。实验显示，PreSTO在七个数据集和五个基础LLM上，对PowerMH及其后续方法实现了中位加速比1.71倍至2.33倍，模型调用次数减少3.9倍。在LCB V6与Qwen3.5-9B上，预测遍历规则比默认广度优先遍历再快1.25倍至1.37倍。