Anthropic推出Claude自我评估安全机制

发生了什么

据凤凰网·科技报道，Anthropic已在生产环境中部署名为“自我评估”的全新安全机制。该机制在对话结束后自动触发隐藏指令，由Claude对自身回答进行审查并输出格式化评估结果。据Anthropic自报，该机制在Claude Fable 5模型上实现了1%的误报率，对潜在违规对话的抓取率为78%，对高优先级严重违规的抓取率达94%。此外，Anthropic利用该机制识别并处理了涉及虐待儿童及杀猪盘诈骗的违规行为。