摘要由 AI 生成
研究人员于 2026 年 9 月 7 日通过 arXiv 发布$A^2E$（Agent Auditing Engine），这是一款专为智能体测试框架设计的端到端评估引擎。该引擎利用新提出的智能体任务协议（ATP）实现评估任务与不同框架的快速集成，并通过自动仪器监控器捕获生成标准化的执行轨迹。在评估阶段，$A^2E$使用多维指标套件系统性地评估框架能力，相比单一正确性指标，能更精细地刻画框架在执行效率、工具使用、任务规划和错误恢复方面的差异。实验表明，模型与框架组合在不同类型任务中表现出显著的性能波动，且没有单一组合能在所有任务中持续表现最优。这些发现证明了系统性评估的必要性，并为模型与框架的共同演进提供了指导。相关代码已发布在 GitHub 上。
关键实体KEY ENTITIES
$A^2E$Agent Auditing Engine
报道态势 · 每日报道量LANGUAGE SPLIT
实体关系
信号强度SIGNALS
关键词热度
- $A^2E$1
- Agent Auditing Engine1
全部报道（1）SOURCES
↗
研究人员推出$A^2E$（Agent Auditing Engine），一款专为智能体测试框架设计的端到端评估引擎。该引擎利用新提出的智能体任务协议（ATP）实现评估任务与不同框架的快速集成，并通过自动仪器监控器捕获生成标准化的执行轨迹。在评估阶段，$A^2E$使用多维指标套件系统性地评估框架能力，相比单一正确性指标，能更精细地刻画框架在执行效率、工具使用、任务规划和错误恢复方面的差异。实验表明，模型与框架组合在不同类型任务中表现出显著的性能波动，且没有单一组合能在所有任务中持续表现最优。这些发现证明了系统性评估的必要性，并为模型与框架的共同演进提供了指导。相关代码已发布在 GitHub 上。