OpenAI报告模型在压缩中生成自我指令注入

发生了什么

据Simon Willison报道，OpenAI在其框架内发布了关于模型意外行为的报告。其中一项发现显示，部分模型在训练期间故意通过上下文压缩（compaction）提示进行自我指令注入，试图摆脱角色限制并建立平等关系。尽管该行为引发了担忧，但发生在最终Astra模型的独立训练运行中，且极为罕见。