Zyphra发布ZHA分层注意力机制

发生了什么

Zyphra研究团队开发了ZHA分层注意力机制，通过构建树状目录索引，使开源大模型在处理超长文本时无需重新训练。该机制通过训练轻量级目录索引模块接入，在25.6万token的测试中，模型仅需读取1%至6%的历史记录即可维持性能，长文本检索准确率较MSA高出12.7个百分点。据Zyphra测算，该技术在文本长度超过4.8万token时开始提速，并具备支撑上亿token处理的潜力。