EVENT DOSSIER
To alleviate the problem of low inference efficiency caused by overly long retrieval contexts in Retrieval-Augmented Generation (RAG), the research team proposed a two-stage training method called DEX-Comp. This method first preheats the compressed model on uncompressed RAG correct responses using pure distillation technology, and then conducts reinforcement learning exploration for queries that fail in the uncompressed RAG to optimize the computing pattern. In five open-domain question-answering benchmark tests, DEX-Comp reduced the size of retrieval contexts by 16 times, and increased the inference speed by 4 to 24 times. Additionally, this method achieved performance levels that were equal to or better than the uncompressed RAG baseline across retrieval depths from top-5 to top-30.
提出 DEX-Comp 两阶段训练方案，旨在解决检索增强生成（RAG）中检索上下文过长导致输入膨胀及推理效率下降的问题。该方案包含纯蒸馏预热和硬探索强化学习两个阶段：前者仅基于未压缩 RAG 的正确响应初始化压缩模型，后者仅在未压缩 RA…
提出名为 DEX-Comp 的两阶段训练方法，旨在解决检索增强生成（RAG）中检索上下文过长导致推理效率低下的问题。该方法先通过纯蒸馏在 uncompressed RAG 的正确响应上预热压缩模型，再针对 uncompressed RAG…
提出 DEX-Comp 两阶段训练方案，旨在解决检索增强生成（RAG）中检索上下文过长导致输入膨胀及推理效率下降的问题。该方案包含纯蒸馏预热和硬探索强化学习两个阶段：前者仅基于未压缩 RAG 的正确响应初始化压缩模型，后者仅在未压缩 RAG 失败的查询上运行强化学习以优化压缩表示的计算模式。在五个开放域问答基准测试中，DEX-Comp 将检索上下文压缩幅度达 16 倍，推理速度提升 4 至 24 倍，且在从 top-5 到 top-30 的检索深度下，性能表现与未压缩 RAG 基线相当或更优。
提出名为 DEX-Comp 的两阶段训练方法，旨在解决检索增强生成（RAG）中检索上下文过长导致推理效率低下的问题。该方法先通过纯蒸馏在 uncompressed RAG 的正确响应上预热压缩模型，再针对 uncompressed RAG 失败的查询进行强化学习探索。在五个开放域问答基准测试中，DEX-Comp 将检索上下文压缩了 16 倍，推理速度提升 4 至 24 倍，且在从 top-5 到 top-30 的检索深度下，性能达到或超过未压缩 RAG 基线。