编码机

百度ERNIE再突破语言生成预训练

发布时间:2024/9/8 12:43:32   
机器之心报道机器之心编辑部还记得去年登顶GLUE的ERNIE预训练语言模型吗?时隔半年,ERNIE功力大增。不过,这次它挑战的是自然语言生成:在摘要生成、问题生成、多轮问答等五个语言生成任务上刷新了最优效果,并应用到了真实业务场景中。同时,相关论文已被人工智能顶级会议IJCAI接收。过去一年,百度提出的ERNIE通过持续学习海量数据中的知识在中英文十六个自然语言理解任务上取得领先效果,并在去年12月登顶权威评测榜单GLUE榜首。ERNIE在工业界也得到了大规模应用,如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。今日,研究团队又在自然语言生成任务上实现新的突破。他们提出了首个基于多流(multi-flow)机制生成完整语义片段的预训练模型ERNIE-GEN,显著提升了自然语言生成任务效果。借助飞桨的高效分布式训练优势,百度开源了ERNIE-GEN的英文预训练模型,并对开源工具进行了动静合一升级,核心代码精简了59%。论文链接:

转载请注明:http://www.aideyishus.com/lkjg/6782.html
------分隔线----------------------------