机器学习正在并且也将变得无处不在。

编译丨杏花、莓酊、王晔

编辑丨青暮

又是一年一度的谷歌年度盘点，JeffDean再次执笔，为我们回顾过去一年来谷歌在5大方向的研究进展以及未来趋势。

JeffDean表示，“在过去几十年里，我们见证了机器学习和计算机科学领域的许多重大变化。早期方法的失效促进了现代方法的诞生，并被证明非常有效。”

按照这种发展模式，他认为，我们将在未来几年内见证一些“令人兴奋的进展”，这些进展最终将造福数十亿人的生活，产生比以往任何时候都更大的影响。

在这篇文章中，JeffDean重点介绍了机器学习有望产生此等影响的五个方面。对于每个方面，他将讨论谷歌相关的研究（主要是从年开始），以及在未来几年可能出现的新方向和新进展。

这些方面分别涉及了算法、效率、个性化、全球化、责任：

算法上，基于Transformer的大规模预训练模型如今无论是在单模态数据的多任务通用性，以及多模态联合学习的能力上，都证明了自身的潜力；

效率上，从算力到模型训练、部署，机器学习流水线的效率正不断提高；在模型运行方面，编译器的改进和加速器软件的优化也提供了很大的助力；而架构方面的改进，自动化机器学习的持续发展、以及对模型稀疏性的利用，都让算法研究发展迅速；

个性化上，机器学习不仅应用变得更加广泛，而且越来越人性化，在功能上越来越自然，同时也更加注重隐私保护；

全球化上，机器学习的影响范围越来越广阔，涉及到愈发多样的全球性问题，比如科学研究、医疗、芯片设计、碳排放缓解、自然灾害预防等等；

最后是责任，尽管饱受争议，但JeffDean表示，谷歌对于AI公平性非常重视，并从数据、算法、传播分析、模型可解释性、文化差异性研究以及大模型隐私保护上做了大量工作。

可以说，机器学习正在并且也将变得无处不在。

以下是关于五大趋势总结的编译介绍：

1趋势1：功能更强大、更通用的机器学习模型

如今，研究者正在训练比以往任何时候都更大型、功能更强大的机器学习模型。

例如，仅在最近几年，语言领域的模型规模已经从在数百亿个数据标记上训练的数十亿个参数（例如，11B参数的T5模型），发展到在数万亿个数据标记上训练的数百亿参数（例如，密集模型如OpenAI的B参数GPT-3模型和DeepMind的B参数Gopher模型，以及稀疏模型如Google的B参数GShard模型和1.2T参数GLaM模型）。

数据集和模型规模的增强，使得各种语言任务的准确性显著提高，正如标注自然语言处理（NLP）基准任务的全面提升所表明的那样（例如对语言模型和机器翻译模型的神经标度定律的研究所预测的）。

上述大部分高级模型都专注于书面语言的单一但不可或缺的模态数据，并在语言理解基准和开放式对话能力方面展现出最先进的成果，甚至在一个领域中的多个任务中也具有如此表现。

此外，它们还表现出令人兴奋的能力，可以在训练数据相对较少的情况下推广到新的语言任务。某些情况下，新任务的训练示例很少甚至没有。例如，NLP中的改进长问答、零标签学习任务。谷歌还提出了LaMDA模型，该模型展示了一种复杂的能力，可以进行开放式对话，在多轮对话中保持重要的上下文联系。

图注：“与LaMDA的对话，通过预设真实提示模仿威德尔海豹，“嗨，我是威德尔海豹。你有什么问题要问我吗？”该模型在很大程度上保持了对话的角色特征。

Transformer模型也对图像、视频和语音模型产生了重大影响，正如视觉Transformer模型的标度定律所预测的那样，所有这些任务也都从规模扩展中受益匪浅。

用于图像识别和视频分类的Transformer在许多基准上都取得了最先进的成果，谷歌还证明，与单独使用视频数据相比，在图像数据和视频数据上的联合训练模型可以提高视频任务的性能。

他们为图像和视频Transformer开发了稀疏的轴向注意力机制，可以更有效地使用计算，为视觉Transformer模型找到更好的标记图像方法，并通过检查视觉Transformer方法与卷积神经网络的操作方式相比，提高了对视觉Transformer方法的理解。将Transformer模型与卷积运算相结合，已在视觉和语音识别任务中显示出显著的优越性。

生成模型的输出质量也在大幅提高，这在图像的生成模型中表现得最为明显。

例如，最近的模型已经证明，仅给定一个类别（例如，输入“爱尔兰塞特”或“有轨电车”）就可以创建逼真的图像，也可以通过修复低分辨率图像，以创建一个看起来自然的高分辨率匹配图像（例如，输入“计算机，增强！”），甚至可以创建任意大小的自然场景。

另一个例子是，可以将图像转换为一系列离散标记，然后可以使用自回归生成模型以高保真度合成这些标记。

图注：级联扩散模型的示例，该模型从给定类别生成新图像，然后将其用作种子来创建高分辨率示例：第一个模型生成低分辨率图像，其余模型对最终高分辨率图像执行上采样。

SR3超分辨率扩散模型将低分辨率图像作为输入，并从纯噪声构建相应的高分辨率图像。

视频链接：

转载请注明:http://www.aideyishus.com/lkjg/2391.html