Richard Sutton质疑Transformer规模化

发生了什么

据The Decoder报道，图灵奖得主Richard Sutton重申，单纯依靠算力无法实现通用智能，并指出盲目扩大Transformer规模面临瓶颈，强调需要全新的学习方法。前OpenAI研究员Tworek对此表示赞同，认为盲目的Transformer规模化已导致一代科学家的思维受到奖励机制的误导。目前，已有初创企业开始针对这一技术局限进行布局。