选自arXiv作者：SnehaChaudhari等机器之心编译参与：王淑婷、杜伟注意力模型已成为神经网络中的一种重要概念，并在很多应用领域展开了研究。本文提出了一种分类方法，对这些研究进行了全面有序地综述，并对注意力模型在一些应用领域产生的重大影响进行了讨论。注意力背后的直觉可以用人类的生物系统来进行最好的解释。例如，我们的视觉处理系统往往会选择性地聚焦于图像的某些部分上，而忽略其它不相关的信息，从而有助于我们感知。类似地，在涉及语言、语音或视觉的一些问题中，输入的某些部分相比其它部分可能更相关。通过让模型仅动态地

转载请注明:http://www.aideyishus.com/lkjg/6799.html