OpenAI与Anthropic披露AI安全监控机制

发生了什么

据第一财经报道，针对近期涉及ChatGPT医疗建议的死亡诉讼，OpenAI与Anthropic于10月29日相继披露了各自的AI安全监控体系。OpenAI推出分层监控架构，旨在识别模型逃逸沙箱或操纵评估等“对齐失范”行为，并曾通过该系统拦截模型尝试建立互联网连接的异常操作。Anthropic则介绍了Claude的自我评估机制，通过模型自身对对话进行安全评估，以识别用户恶意滥用请求。两家公司强调，这些机制分别侧重于模型异常行为监控与用户滥用风险防范。