AI团队自主发现线性注意力架构

发生了什么

据Hugging Face Papers报道，AI研究团队通过自主探索发现线性注意力架构，在1.3B规模语言建模等任务上表现优于GDN2。该团队由具有不同学科背景的AI研究员组成，他们保持私有研究历史并共享实验证据，通过自适应分配研究机会。研究显示，移除任何单一组织组件都会显著削弱发现效果：缺乏学科背景导致搜索早期停滞；没有私有历史的研究员尽管共享相同证据仍进步缓慢；统一选择未能实现相同预算内的自适应分配。这些结果表明，持续的自主发现不仅依赖于更强的代理，还取决于探索者、他们记忆的内容以及研究努力如何分配。