Speculative Sampling方法提出

发生了什么

Hugging Face Papers报道，研究提出Speculative Sampling方法，通过缓存预测实现交互式视频生成低延迟。该方法通过缓存预测并增量交付，减少延迟而不牺牲质量。研究显示，使用较大双向窗口可提升视频质量并更好地利用GPU并行性，Speculative Sampling结合了大窗口建模能力和小窗口低延迟交互。该方法是无训练的，并可能融入任何交互式视频生成系统。