Idiap与罗技发布DialFork基准

发生了什么

Idiap研究院与罗技联合发布DialFork，旨在评估大模型对话智能体中的程序性幻觉。该基准通过模拟对话流程并引入偏离指令，构建了包含超过3.6万个对话的数据集，用于衡量智能体在对话步骤与顺序上的执行偏差。DialFork包含三个评估任务，涵盖从单轮对话检测到整体分布差异的度量，并配套有Hugging Face排行榜、代码库及数据集。