译者：朱先忠

Copilot、Codex和AlphaCode：自动编程的计算机程序现况

近年来，由于自然语言处理领域转换器（transformers）的兴起，我们看到了一系列令人震惊的代码编写深度学习模型。能够编写计算机程序的计算机程序，通常称为程序合成问题，至少从20世纪60年代末和20世纪70年代初就已开始研究。

在21世纪10年代和20年代，基于注意力的模型在其他领域的成功再次激发了程序合成研究的动力，即在数百GB的文本上预先训练具有数百万或数十亿参数的大规模基于注意力的神经模型（转换器）的策略。

经过预训练的模型在元学习方面表现出了令人印象深刻的能力，这得益于它们的注意力机制，并且似乎可以实际应用于文本任务开发方面——通过在提示内容中仅提供少数几个示例（研究文献中称作“零样本或小样本学习”）。

基于深层NLP模型的现代程序合成

NLP模型可以进一步使用专门的数据集进行训练，以微调特定任务的性能。编写代码就是这方面应用的一个特别有趣的使用场景。

GitHub上的Copilot项目，被宣传为“你的人工智能编程伙伴（YourAIPairProgrammer）”，在推出时引起不小的争议。在很大程度上，这是由于在训练数据集中使用了所有公开的GitHub代码。根据有关说明，这些代码库包括具有Copyleft许可证的项目，这些项目可能不允许将代码用于Copilot等项目，除非Copilot本身是开源的。

Copilot是OpenAI组织和微软公司之间关系的产物，基于GPT-3的一个经过代码训练的版本。由OpenAI演示并通过其API提供的版本称为Codex。使用Copex的正式实验描述在陈先生等人于年发表的论文中有详细的介绍。

年初，DeepMind公司也不甘示弱，开发出他们自己的程序合成深度NLP系统：AlphaCode。

新挑战者：AlphaCode

与之前的Codex和Copilot一样，AlphaCode是一个设计和训练用于编写代码的大型NLP模型。如Copilot一样，AlphaCode的开发也不是为了将AlphaCode作为软件工程师的生产力工具，而是用于在竞赛类编程任务中挑战人类水平的编程性能。

用于训练和评估AlphaCode（组成新的CodeContests数据集）的竞赛编码挑战的难度介于以前数据集难度和现实世界软件工程难度之间。

对于那些不熟悉竞赛类编程挑战网站的人来说，这项任务有点像测试驱动开发的简化版本。根据给定的一些文本描述和几个例程，这种挑战的主要内容就是，编写一个通过一组测试的程序——其中大部分测试对程序员来说都是隐藏的。

理想情况下，隐藏测试应该是全面的，通过所有测试也就代表顺利解决了给定的问题。但是，用单元测试覆盖每个边缘情况是一个困难的问题。对程序合成领域的一个重要贡献实际上是CodeContests数据集本身，因为DeepMind团队做出了重大努力——他们通过突变过程生成额外的测试，目的是为了降低误报率（测试通过，但问题尚未解决）和慢阳性率（测试通过，但解决方案太慢）。

AlphaCode的性能是根据竞赛网站CodeForces上的竞赛编程挑战内容进行评估的。总体上，AlphaCode在参与竞赛的（也可能是人类）程序员中的平均表现为“前54.3%”。

请注意，该指标可能有点误导，因为它实际上等同于45.7%的绩效。令人难以置信的是，AlphaCode系统能够编写任何通过所有隐藏测试的算法。但是，请注意：AlphaCode使用了一种与人类截然不同的策略来解决编程问题。

虽然人类竞争对手可能会编写一种算法来解决大多数例程——结合运行早期版本解决方案的见解不断改进，直到通过所有测试；但是，AlphaCode采用了一种基础更广泛的方法，即为每个问题生成多个样本，然后选择10个样本提交。

AlphaCode在CodeContests数据集上的性能的一大贡献是，生成后过滤和聚类的结果：它在生成大约个候选解决方案后，开始过滤候选方案，以删除问题描述中未通过示例测试的候选方案，从而消除大约99%的候选群体。

作者提到，大约10%的问题没有通过此阶段所有示例测试的候选解决方案。

然后通过聚类将剩余的候选项筛选到10份或更少的提交。简而言之，他们训练了另一个模型，以根据问题描述生成额外的测试输入（但请注意，他们没有这些测试的有效输出）。

剩余的候选解决方案（过滤后的数量可能小于个），根据其在生成的测试输入上的输出进行聚类。按照从最大到最小的顺序，从每个集群中选择一个候选对象进行提交。如果簇少于10个，则对簇进行多次采样。

虽然过滤/聚类步骤是独特的，并且AlphaCode在新的CodeContests数据集上进行了微调，但它最初的训练方式与Codex或Copilot大致相同。AlphaCode首先在GitHub（年7月14日检索）的一个大型公共可用代码数据集上接受了预训练。他们训练了5种变型，参数个数从2.84亿个增加到亿个。

与AlphaGo系列或玩星际争霸II游戏的AlphaStar机器人的精神一样，AlphaCode也是一个研究项目，旨在开发一个接近人类在专门任务领域的能力的系统，而且在程序合成过程中开发出的实用程序的门槛更低。

从开发解决问题的实用工具的角度来说，这方面机器人的代表是基于GPT-3的Codex和Copilot工具。Codex是GPT-3的OpenAI变体，在一个公共可用代码的语料库上进行训练。根据与论文一起发布的HumanEval数据集，OpenAI报告称，Codex通过在“docstringtocode”格式的任务中生成个样本，能够解决70%以上的问题。

接下来，我们将探索这种通过使用Codex自动生成代码的提示符编程技术。我们将同时使用下面给定的模型来开发约翰·康威的《生命游戏》。

GitHubCopilot采用代码自动补全的方法，目前的打包形式是VisualStudio，VSCode，Neovim和JetBrains等集成开发环境的扩展的方式。根据Copilot网页有关描述，Copilot已能够成功地根据给定描述重新编写出一组经过良好测试的Python函数，其中57%的函数与HumanEval数据集类似。

我们将研究Copilot的一些实际用例，例如使用VSCode的专用测试版的Copilot扩展自动编写测试。

提示符编程：用Codex编写康威的《生命游戏》

在本节中，我们将介绍基于约翰·康威的《生命游戏》编写细胞自动机模拟器的任务。稍加了一点修改，没有对规则硬编码，我们的程序应该能够模拟任何一组类生命的细胞自动机规则。

我们将采用交互式方法，而不是通过生成个示例并选择最佳示例（可以是手动方式也可以通过运行测试的方式）。当Codex给出一个糟糕的解决方案的时候，我们将做出调整以尝试引导更好的答案。当然，如果绝对必要的话，在Codex完全失败的情况下，我们可以继续修改代码以获得一个能够正常工作的示例。

编写一个逼真的CA（CellularAutomata，即“元胞自动机”。它是一种时间、空间、状态都离散，空间相互作用和时间因果关系为局部的网格动力学模型，具有模拟复杂系统时空演化过程的能力）模拟器的第一步是提出一个计算邻居的函数。我们编写了以下docstring提示符，并将其提供给code-davinci-，这是OpenAIAPI库中最大的Codex模型：

复制

#PROMPTimportnumpyasnpdef

转载请注明:http://www.aideyishus.com/lkgx/1877.html