EVENT DOSSIER
一项关于可伸缩升级推荐的研究提出了包含两个阶段的框架，旨在将大型语言模型的推理能力蒸馏至高效非生成学生模型中，并针对特定产品类型进行适配。在第一个阶段（全局蒸馏），利用检索增强和少样本教师生成结构化标签与理由来监督紧凑分类器；推理时仅需使用预计算的嵌入向量，无需调用大模型或文本生成。实验显示，该阶段的四分类推理蒸馏学生在固定人工标注数据集上的 AUC 达到 0.924，优于仅使用标签的学生模型（0.912）。在第二个阶段（局部适配），采用产品类型测试时训练方法，利用少样本演示优化轻量级适配器，将 AUC 从 0.924 提升至 0.941，平均精度从 0.920 升至 0.940。在代理目录测试中，该蒸馏学生在单台八显卡机器上的运行速度约为直接大模型推理的 5000 倍，预估成本降低 10000 倍。
本文提出一种两级框架，将大语言模型推理蒸馏至高效非生成学生模型并适配产品类型特定标准。一级中，检索增强少样本 LLM 教师生成结构化标签与理由，监督紧凑嵌入对分类器；推理时仅使用两个预计算 768 维嵌入，无需调用 LLM 或文本生成。在…
本文提出一种两级框架，将大语言模型推理蒸馏至高效非生成学生模型并适配产品类型特定标准。在一级中，检索增强少样本教师生成结构化标签与理由，监督紧凑分类器；推理时仅使用两个预计算 768 维嵌入，无需调用 LLM 或文本生成。在固定人工标注的…
本文提出一种两级框架，将大语言模型推理蒸馏至高效非生成学生模型并适配产品类型特定标准。一级中，检索增强少样本 LLM 教师生成结构化标签与理由，监督紧凑嵌入对分类器；推理时仅使用两个预计算 768 维嵌入，无需调用 LLM 或文本生成。在 8,352 对人标注基准上，15.5M 参数四分类推理蒸馏学生 AUC 达 0.924，优于仅标签学生的 0.912。二级采用产品类型测试时训练（PT-TTT），利用少样本演示优化轻量级类别特定适配器，使 AUC 从 0.924 提升至 0.941，平均精度从 0.920 升至 0.940。在 10 万对代理目录上，单台八 GPU 机器运行蒸馏学生速度约为直接 LLM 推理的 5,000 倍，预估成本降低 10,000 倍。
本文提出一种两级框架，将大语言模型推理蒸馏至高效非生成学生模型并适配产品类型特定标准。在一级中，检索增强少样本教师生成结构化标签与理由，监督紧凑分类器；推理时仅使用两个预计算 768 维嵌入，无需调用 LLM 或文本生成。在固定人工标注的 8,352 对数据上，1550 万参数四分类蒸馏学生 AUC 达 0.924，优于仅标签学生的 0.912。二级采用产品类型测试时训练（PT-TTT），利用少样本演示优化轻量级适配器，将 AUC 从 0.924 提升至 0.941，平均精度从 0.920 升至 0.940。在 10 万对代理目录上，该蒸馏学生在单台八显卡机器上运行速度约为直接 LLM 推理的 5000 倍，预估成本降低 10000 倍。