用于通过语音服务提供大型语言模型的可扩展上下文编排

Scalable Context Orchestration for Serving LLMs Over Voice

研究人员提出 llmovoice，一种显式建模语音上下文并编排其使用的上下文管理中间件。该工具在每次交互中构建包含当前输入、相关历史及副语言与环境状态的有界语音上下文，并利用服务大语言模型推理生成运行时指令以指导响应。实验评估显示，llmovoice 将说话速率对齐错误降低 52.4%，在丢包条件下将误打断率从 46.0% 降至 0.9%，并将模型使用成本降低 79.2%；对于长会话，其每轮成本最高减少 24.9 倍，同时保留高达 98.7% 的基准回答质量。