机器之心分析师网络

分析师：仵冀颍

编辑：JoniZhong

作为计算机科学领域与人工智能领域的重要研究课题，自然语言处理已经在各领域展开了广泛的研究与探讨。随着研究的深入，一些学者开始探讨机器中的自然语言处理和大脑中的自然语言处理是否存在着一些联系，进而延伸至神经科学与BERT等NLP预训练方法的交叉点。本文选取CMUWehbe研究小组（2篇）和MITRogerP.Levy教授组（1篇）的三篇文章，对这一主题进行了详细的解析和讨论。

自GoogleAI提出BERT(BidirectionalEncoderRepresentationsfromTransformers)后，BERT在自然语言处理领域（NaturalLanguageProcessing，NLP）中应用获得了非常好的效果，它成为了近期NLP领域中最重要的进展。BERT是一种Transformer的双向编码器表示，它通过联合调解模型中所有层的上下文来完成双向编码器表示的预训练。此外，还可以通过一个额外的输出层对预训练的BERT表示进行微调，从而使其在基本保持原有架构的基础上，能够快速适用于不同的NLP任务，例如语言推理、问答系统等。

与大量的利用BERT提升语言模型性能的研究不同，CMU的Wehbe研究小组近期在

转载请注明:http://www.aideyishus.com/lkyy/4934.html