DLite发布无历史推测解码框架

发生了什么

据Hugging Face Papers报道，研究人员提出DLite框架，旨在解决代理AI工作负载中推测解码性能下降的问题。该框架通过复用目标模型的上下文隐藏状态进行局部预测，无需维护历史KV缓存，从而消除系统开销。实验显示，DLite实现了2-6的接受长度，在通用、长上下文及代理工作负载中，性能较DSpark提升最高达70%。