开发者基于PyTorch实现Transformer架构

发生了什么

据r/MachineLearning社区发布，一名开发者使用PyTorch从头实现了2017年Transformer架构。该模型目前包含2层编码器与解码器，并使用1000个词汇进行训练。开发者指出当前模型预测效果不佳，且训练耗时较长，正寻求优化训练效率与模型效果的方法。