arXiv发布APEX-Harm评估AI代理安全风险

发生了什么

据arXiv cs.CL论文介绍，研究者推出APEX-Harm基准，用于评估提示和脚本注入对执行金融、咨询和法律任务的长期AI代理的安全风险。该基准包含115到328个文件及多种工具，涵盖六种攻击类别。研究评估了12个前沿模型在180个任务实例上的表现，发现Opus 5和Sonnet 5的整体攻击成功率最低（分别为8%和20%），而特定任务脚本替换攻击仍具有较高有效性。