机器之心专栏

机器之心编辑部

华为泊松实验室联合北京邮电大学、华为昇思MindSpore团队提出了RetroMAE，在零样本学习与监督学习场景下均展现了极强的稠密检索性能。

稠密检索是搜索、推荐、广告等领域的关键性技术；面向稠密检索的预训练是业界高度重视的研究课题。近期，华为泊松实验室联合北京邮电大学、华为昇思MindSpore团队提出“基于掩码自编码器的检索预训练语言模型RetroMAE”，大幅刷新稠密检索领域的多项重要基准。而其预训练任务的简洁性与有效性，也为下一步技术的发展开辟了全新的思路。该工作已录用于自然语言处理领域顶级学术会议EMNLP。基于昇思开源学习框架的模型与源代码已向社区开放。

论文

转载请注明:http://www.aideyishus.com/lkzp/3194.html