Uncertainty Signals for Network Intent Translation: Risk Ranking and Ambiguity Localization

Uncertainty Signals for Network Intent Translation: Risk Ranking and Ambiguity Localization

本研究提出利用不确定性信号评估大语言模型生成网络配置的前部署风险。研究团队使用基于采样的预测不确定性进行翻译风险排序，并采用 Token 级熵定位模糊来源。实验在 Juniper EX3300 交换机平台上，对针对意图翻译微调的 Llama-3.1-8B-Instruct 模型进行了评估。结果显示，预测不确定性能有效跨不同上下文类型和采样预算对翻译风险进行排序，但在信息量较少时存在显著校准偏差；同时，参数 Token 熵与参数来源模糊度相关，关键词 Token 熵与描述来源模糊度相关。这些结果证实了将不确定性信号引入大语言模型生成配置部署流程的潜力，其中预测不确定性可支持选择性部署，而 Token 级熵可用于识别模糊来源。