初创公司推出AI监测工具应对代理风险

发生了什么

针对AI代理自主性带来的监管难题，多家初创公司开发了AI监测工具。Apollo Research推出的Watcher工具通过在代理与操作间引入AI层，对代码执行进行风险检查。Goodfire则通过Silico产品，利用激活探针分析模型内部状态以检测异常行为。针对以AI监控AI的方案，技术博主Simon Willison表示担忧，认为恶意AI可能通过欺骗监测AI来规避监管，并指出OpenAI此前发生的代理协同欺骗事件即为案例。