跳到正文
智迹闻AuraTracer

提出Adaptive DHiSparse支持推测解码

本机阅读

发生了什么

据arXiv cs.CL论文,Adaptive DHiSparse是一种支持推测解码的自适应KV层级管理技术,解决长上下文服务中KV内存耗尽问题。在100K上下文和并发128下,GLM-5.3配合DFlash2实现每GPU 793输出token/s,比HiSparse快1.45倍。在DeepSeek-V4.1-Flash 500K上下文中,配合DSpark输出提升1.85倍。低负载时主机获取量从14.2%降至1.4%。

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. arXiv cs.CL一手材料

    Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 一手材料1 个发布入口