当前位置: 编码机 >> 编码机发展 >> 学界不会写作文试试这个文本模板生成系统呗
选自arXiv
作者:SamWiseman、StuartM.Shieber、AlexanderM.Rush
机器之心编译
参与:高璇、王淑婷
虽然神经编码器-解码器模型在文本生成方面取得了很大的成功,但这种生成方式仍存在一些尚未解决的问题。而本文提出了一种使用隐藏的半马尔可夫模型(HSMM)解码器的神经生成系统,可以学习潜在的离散模板并生成。
随着编码器-解码器模型在机器翻译及其相关任务中不断取得成功,人们对用该模型构建数据驱动的通用自然语言生成(NLG)系统(Meietal.,;DusekandJurccekˇ,;Lebretetal.,;Chisholmetal.,;Wisemanetal.,)的兴趣大增。这些编码器-解码器模型(Sutskeveretal.,;Choetal.,;Bahdanauetal.,)使用神经编码器模型来表示源知识库,并以源编码为条件,用解码器模型逐字进行文本描述。这种生成方式与NLG中更为传统的分工方式形成了鲜明对比,NLG着重强调分别解决「说什么」和「如何说」这两个问题,又因此形成了具有明确内容选择、宏观和微观计划、表面实现组件的系统。
编码器-解码器生成系统可以提高NLG输出的流畅性,同时减少所需的手动操作。然而,由于通用编码器-解码器模型的黑箱特性,这些系统在很大程度上牺牲了两个在更传统系统中常见的重要需求,即(a)在形式和内容上易于控制的(b)可解释输出。
本研究考虑构建可解释和可控的神经生成系统,并提出了具体的第一步:建立一种数据驱动的新生成模型,以学习条件文本生成的离散、模版式结构。核心系统使用一种新颖的神经隐藏半马尔可夫模型(HSMM)解码器,它为模板式文本生成提供了一种原则性方法。研究人员进一步描述了通过反向传播推导以完全数据驱动的方式训练该模型的有效方法。由神经HSMM引起的模版式结构生成明确表示了「系统打算说什么」(以学习到的模板形式)以及「它想如何说」(以实例化模板的形式)。
研究人员可以实现与其它神经NLG方法媲美的性能,同时满足上述两个需求。实验表明,可以在产生显式模板(如图1所示)的同时获得有竞争力的自动分数,并且可以通过操纵这些模板来控制和解释生成。最后,虽然实验侧重于从数据到文本的形式,但该方法代表了一种学习条件文本的离散、潜变量表示的方法。
图1:E2E生成数据集(Novikovaetal.,)中的模版式生成示例。知识库x(上)包含6条记录,y(中)是系统生成;记录显示为[value]类型。系统会学习生成的神经模板(下)并将其用于生成y。每个单元格代表学习段中的一个片段,「空白」表示在生成期间通过复制产生的填空位置。
论文:LearningNeuralTemplatesforTextGeneration
论文链接:
转载请注明:http://www.aideyishus.com/lktp/4822.html