机器之心报道

编辑：张倩、小舟

一直以来，GPT模型的语言生成能力有目共睹，但语言理解能力似乎略逊一筹。最近，清华、智源等机构的一项研究打破了这一刻板印象。

GPT-3大型语言模型向我们展示了AI模型在生成自然语言文本方面的强大能力。从创作历史人物对话到总结电影再到编写代码，GPT-3似乎无所不能。

然而，尽管GPT-3的输出在语法上是正确的，甚至在习惯用法上也令人印象深刻，但它对语言的理解似乎存在明显不足，以至于一些生成效果令人大跌眼镜。例如：

问：铅笔和烤面包机哪个更重？

答：铅笔比烤面包机重。

GPT-3的成功表明，「巨大的单向语言模型+适当的手工prompt」这一组合可能有助于提高模型的自然语言理解能力。然而，手工制作表现最佳的prompt无异于大海捞针，通常需要异常庞大的验证集。在很多情况下，有效的prompt工程意味着过拟合测试集。而且，这很容易导致对抗prompt的产生，进而导致模型性能大幅下降。

为了解决这些问题，部分研究者致力于自动搜索离散prompt并取得了一些成效，但神经网络本质上是连续的，因此离散prompt可能并非最优。

在一篇标题为《GPTUnderstands,Too》的论文中，来自清华大学、麻省理工、北京智源人工智能研究院、RecurrentAI的XiaoLiu、唐杰、杨植麟等研究者提出了一种名为P-tuning的新方法来自动搜索连续空间中的prompt，以提高GPT模型的自然语言理解能力。

论文链接：

转载请注明:http://www.aideyishus.com/lkyy/5387.html