科技巨头加速构建AI紧急制动与监控机制

发生了什么

据Axios Technology报道，多家科技公司正加速构建AI“紧急制动”与监控防御机制以应对失控风险。OpenAI建立了自动关机程序，AI安全守卫监测思维链，若发现危险行为将在30分钟内暂停活动。Anthropic利用AI监控AI，其自动化监控系统能识别50%的恶意行为，但METR攻击发现存在漏洞。Salesforce开发了Agent Kill Switch产品，可阻断AI代理所需的资源凭证。