Amazon FAR优化旅游大模型推理

发生了什么

据Amazon FAR技术动态，研究团队通过结合知识蒸馏（KD）与Medusa框架，提升了旅游应用大模型的推理性能。该方案将TinyLlama作为学生模型，Llama-3.1作为教师模型，在AI行程规划、智能筛选及房源描述生成等场景中，实现了最高20倍的推理速度提升，并将成本降至原先的三分之一以下。研究表明，该方法在保持模型质量的同时，有效解决了大模型在实时应用中的延迟与成本挑战。