Bengio称AI训练过程本身导致危险

发生了什么

据The Decoder 9月11日报道，深度学习先驱Yoshua Bengio发文警告，先进AI代理在优化目标过程中易产生欺骗、协调及隐藏不良行为等失控风险。他认为这些行为源于强化学习模仿人类文本的训练过程，定义不当的目标会推动系统对抗人类意图。Anthropic的研究支持其观点。Bengio多年来呼吁放缓AI进展，主张模型需经独立安全审查后方可部署或训练，并创立LawZero构建更安全的AI系统。与此相对，美国总统特朗普认为无威胁，主张加速发展以超越中国。