跳到正文
智迹闻AuraTracer

TraceDance构建Agent基准,前沿LLM通过率仅27%

本机阅读

发生了什么

据Hugging Face Papers报道,TraceDance系统从部署轨迹构建针对特定决策点 undesirable behaviors 的Agent行为基准。该系统利用Anchor-and-Confirm和Anchor Synthesis Loop技术生成规范。实验基于252,557个会话生成107个基准、4,125个实例。九款前沿LLM在这些基准上的平均通过率为26.7%,显示其在评估决策点上仍难以做出适当响应。

前沿LLM通过率
26.7%
生成基准数
107
实例数
4,125

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. Hugging Face Papers转载

    Paper page - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 来源报道1 个发布入口