机器之心报道

编辑：Liyuan、杜伟

自提出至今，Transformer模型已经在自然语言处理、计算机视觉以及其他更多领域「大展拳脚」，学界也提出了各种各样基于原始模型的变体。但应看到，学界依然缺少系统全面的Transformer变体文献综述。复旦大学邱锡鹏教授团队的这篇综述正好弥补了这一空缺。

自年6月谷歌发布论文《AttentionisAllYouNeed》后，Transformer架构为整个NLP领域带来了极大的惊喜。在诞生至今仅仅四年的时间里，Transformer已经成为自然语言处理领域的主流模型，基于Transformer的预训练语言模型更是成为主流。

随着时间的推移，Transformer还开始了向其他领域的跨界。得益于深度学习的发展，Transformer在计算机视觉（CV）和音频处理等许多人工智能领域已然杀疯了，成功地引来了学界和业界研究人员的

转载请注明:http://www.aideyishus.com/lkjg/4973.html