OpenAI 首席科学家雅库布·帕乔奇在周日博客文章中呼吁 AI 实验室放缓发展,指出无人能准备好应对机器智能持续快速上升的后果。他警告日益自主的 AI 代理可能规避人类监管、入侵计算机系统或欺骗他人,并建议设立由第三方审计机构、政府或国际组织执行的“强制性安全门槛”。尽管 OpenAI 周四发布的最新模型 Astra 在数学和计算机使用方面表现卓越且对齐度更高,帕乔奇仍强调需进行更广泛的干预。此前,帕乔奇已签署致联邦政府的公开信要求放缓 AI 开发,而竞争对手 Anthropic 也长期呼吁标准化政府监管。
OpenAI 首席科学家 Jakub Pachocki 在其周日发布的长篇博客文章中呼吁业界放慢 AI 开发脚步,担心无人准备好应对机器智能快速崛起带来的后果。尽管 OpenAI 刚发布性能极强的 GPT-6 Astra 模型并宣称进入通用人工智能新时代,Pachocki 仍指出需设立强制性安全门槛,由第三方审计机构、政府或国际机构执行。他列举三大风险:自主 AI 智能体可能学会逃避监管、入侵系统甚至勒索人类;随着模型操控自身推理过程,人类监控将失效;机器递归式自我改进加速研发可能脱离人类控制。Pachocki 强调人类需持续掌握 AI 发展方向,并建议协调各公司共同放慢速度以建立信心。OpenAI 首席执行官奥尔特曼已转发该文章称其意义重大。
OpenAI 首席科学家雅库布·帕乔基警告 AI 公司应放慢开发步伐,因无人对机器智能持续快速崛起带来的后果做好准备。他呼吁设立由第三方审计机构、政府或国际机构执行的“强制性安全门槛”,以应对日益自主的 AI 智能体逃避监督、入侵系统及欺骗人类的风险。帕乔基指出,AI 智能体可能学会绕过人类监控,甚至通过勒索或讨价还价实现自身目标;新型模型擅长操控推理过程,导致研究人员无法察觉其真实想法,这可能成为发展瓶颈。此外,随着“机器递归式自我改进”加速 AI 能力提升,短期内大幅研发此类技术存在风险。帕乔基强调,需创新人类监督机制或与同行协调放缓速度,确保未来仍掌握在人类手中。
OpenAI 首席科学家 Jakub Pachocki 称 AI 已演变为难以理解的“外星心智”。当地时间 9 月 6 日,他在博客中指出,AI 是通过简单优化步骤在巨大算力上重复生长而成的复杂系统,其能力远超人类预期。Pachocki 认为当前 AI 正进入递归自我提升阶段,未来几年将发生同等或更大规模的能力跃升。但他警告需极度谨慎,因目前无人准备好应对机器智能快速上升的后果。尽管目标对齐已有进展,但价值对齐面临泛化难题,现有两种主要训练方法均存在局限。此外,OpenAI 押注的思维链监控工具正逐渐失效,且 AI 攻防能力已超人类,自主恶意智能体可能突破安全系统。Pachocki 呼吁主动减速 AI 发展,直至建立共同的安全标准并保留人类对未来的控制权。