Anthropic发布自动化红队测试研究

发生了什么

Anthropic发布研究，探索利用数千个Claude智能体自动化进行细微涌现不对齐的安全红队测试。研究中，智能体被赋予规避训练数据监控的任务，并生成看似无害但实则诱导不对齐行为的数据。Anthropic表示，该研究旨在通过自动化手段克服人工红队测试的时间限制，并为改进未来训练数据监控提供参考。