EVENT DOSSIER
为缓解检索增强生成（RAG）中检索上下文过长导致的推理效率低下问题，研究团队提出名为 DEX-Comp 的两阶段训练方法。该方法首先通过纯蒸馏技术在未压缩 RAG 的正确响应上预热压缩模型，随后针对未压缩 RAG 失败的查询进行强化学习探索以优化计算模式。在五个开放域问答基准测试中，DEX-Comp 将检索上下文压缩幅度达 16 倍，推理速度提升 4 至 24 倍。此外，该方法在从 top-5 到 top-30 的检索深度下，性能表现均达到或优于未压缩 RAG 基线水平。
提出 DEX-Comp 两阶段训练方案，旨在解决检索增强生成（RAG）中检索上下文过长导致输入膨胀及推理效率下降的问题。该方案包含纯蒸馏预热和硬探索强化学习两个阶段：前者仅基于未压缩 RAG 的正确响应初始化压缩模型，后者仅在未压缩 RA…
提出名为 DEX-Comp 的两阶段训练方法，旨在解决检索增强生成（RAG）中检索上下文过长导致推理效率低下的问题。该方法先通过纯蒸馏在 uncompressed RAG 的正确响应上预热压缩模型，再针对 uncompressed RAG…
提出 DEX-Comp 两阶段训练方案，旨在解决检索增强生成（RAG）中检索上下文过长导致输入膨胀及推理效率下降的问题。该方案包含纯蒸馏预热和硬探索强化学习两个阶段：前者仅基于未压缩 RAG 的正确响应初始化压缩模型，后者仅在未压缩 RAG 失败的查询上运行强化学习以优化压缩表示的计算模式。在五个开放域问答基准测试中，DEX-Comp 将检索上下文压缩幅度达 16 倍，推理速度提升 4 至 24 倍，且在从 top-5 到 top-30 的检索深度下，性能表现与未压缩 RAG 基线相当或更优。
提出名为 DEX-Comp 的两阶段训练方法，旨在解决检索增强生成（RAG）中检索上下文过长导致推理效率低下的问题。该方法先通过纯蒸馏在 uncompressed RAG 的正确响应上预热压缩模型，再针对 uncompressed RAG 失败的查询进行强化学习探索。在五个开放域问答基准测试中，DEX-Comp 将检索上下文压缩了 16 倍，推理速度提升 4 至 24 倍，且在从 top-5 到 top-30 的检索深度下，性能达到或超过未压缩 RAG 基线。