原标题：深度学习：神经网络算法的昨天、今天和明天

年，围棋人工智能软件AlphaGo打败了韩国围棋名将李世石。年，新一代AlphaGo（AlphaGoMaster）的战斗力升级，又打败了世界排名第一的柯洁。这样的人工智能（ArtificialIntelligence）系统，不再简单地只靠储存能力战胜人类，而是已经在一些具体的领域超越了人类的认知，甚至像是拥有了“思考”的能力，更接近大众对人工智能的想象。人工智能似乎一直是一个遥远的科幻的概念，但事实上，当今世界很多应用已经达到了“人工智能”的标准。除了前文提到的围棋软件，还有自动驾驶系统、智能管家，甚至苹果手机上的语音助手Siri都是一种人工智能。而这些应用背后的核心算法就是深度学习（DeepLearning），也是机器学习（MachineLearning）领域最火热的一个分支。和其他机器学习算法有很大不同，深度学习依赖大量数据的迭代训练，进而发现数据中内在的特征（Feature），然后给出结果。这些特征中，有很多已经超越了人为定义的特征的表达能力，因此得以让深度学习在很多任务的表现上大大超越了其他机器学习算法，甚至超越了人类自己。但是，深度学习还没能全方面超越人类。相反，它的工作完全依赖于人类对算法的设计。深度学习从诞生到爆发用了大约五十年。从其发展历程，我们可以窥见计算机科学家们的步步巧思，并从中探讨其可能的发展方向。一、什么是深度学习深度学习就是人工神经网络（ArtificialNeuralNetwork）。神经网络算法得名于其对于动物神经元传递信息方式的模拟，而深度学习这一“俗称”又来自于多层级联的神经元：众多的层让信息的传递实现了“深度”。在动物身上，神经一端连接感受器，另一端连接大脑皮层，中间通过多层神经元传导信号。神经元之间也不是一对一连接，而是有多种连接方式（如辐射式、聚合式等），从而形成了网络结构。这一丰富的结构最终不仅实现了信息的提取，也使动物大脑产生了相应的认知。动物的学习过程则需要外界信息在大脑中的整合。外界信息进入神经系统，进而成为大脑皮层可以接收的信号；信号与脑中的已有信息进行比对，也就在脑中建立了完整的认知。类似地，通过计算机编程，计算机科学家让一层包含参数（Parameter）和权重（Weight）的函数模拟神经元内部的操作，用非线性运算的叠加模拟神经元之间的连接，最终实现对信息的重新整合，进而输出分类或预测的结果。针对神经网络输出结果与真实结果之间的差异，神经网络会通过梯度（Gradient）逐层调整相应的权重以缩小差异，从而达到深度学习的目的。二、深度学习的雏形其实，模拟动物的神经活动，并非深度学习的专利。早在年，FrankRosenblatt就提出了感知机（Perceptron）的概念。这是一种只能分出两类结果的单层神经网络。这种模型非常简单，输出结果与输入信息之间几乎就是一个“加权和”的关系。虽然权重会直接根据输出结果与真实值之间的差异自动调整，但是整个系统的学习能力有限，只能用于简单的数据拟合。几乎与此同时，神经科学界出现了重大进展。神经科学家DavidHubel和TorstenWiesel对猫的视觉神经系统的研究证实，视觉特征在大脑皮层的反应是通过不同的细胞达成的。其中，简单细胞（SimpleCell）感知光照信息，复杂细胞（ComplexCell）感知运动信息。受此启发，年，日本学者福岛邦彦（KunihikoFukushima）提出了一个网络模型“神经认知机（Neocognitron）”(图1)用以识别手写数字。这种网络分成多层，每层由一种神经元组成。在网络内部，两种神经元交替出现，分别用以提取图形信息和组合图形信息。这两种神经元到后来演化成了重要的卷积层（ConvolutionLayer）和提取层（PoolingLayer）。但是这个网络的神经元都是由人工设计而成，其神经元也不会根据结果进行自动调整，因此也就不具有学习能力，只能限制在识别少量简单数字的初级阶段。

图1：神经认知机Neocognitron的工作原理图（摘自原文Fukushima,Kunihiko.Neocognitron:Ahierarchicalneuralnetworkcapableofvisualpatternrecognition.Neuralnetworks1.2():-）

当学习能力无法被实现的时候，就需要更多的人工设计来替代网络的自主学习。年，美国科学家JohnHopfield发明了一种神经网络，在其中加入了诸多限制，让神经网络在变化中保持记忆以便学习。同年，芬兰科学家TeuvoKohonen在无监督算法向量量化神经网络（LearningVectorQuantizationNetwork）的基础上提出了自组织映射（Self-OrganizingMap），希望通过缩短输入和输出之间的欧氏距离，从繁杂的网络中学习到正确的关系。年，美国科学家StephenGrossberg和GailCarpenter依据自己早先的理论提出了自适应共振理论网络(Adaptiveresonancetheory)，也就是让某个已知信息和未知信息发生“共振”，从而从已知信息推测未知的信息实现“类比学习”。虽然这些网络都加上了“自组织”、“自适应”、“记忆”等关键词，但其学习方式效率不高，而且需要根据应用本身不断地优化设计，再加上网络的记忆容量很小，很难在实际中应用。年，计算机科学家DavidRumelhart、GeoffreyHinton和RonaldWilliams发表了反向传播算法（Backpropagation），才算阶段性地解决了神经网络学习的难题。通过梯度的链式法则，神经网络的输出结果和真实值之间的差异可以通过梯度反馈到每一层的权重中，也就让每一层函数都类似感知机那样得到了训练。这是GeoffreyHinton第一个里程碑式的工作。如今的他是Google的工程研究员，曾获得计算机领域最高荣誉的图灵（Turing）奖。他曾在采访中说:“我们并不想构建一个模型来模拟大脑的运行方式。我们会观察大脑，同时会想，既然大脑的工作模式可行，那么如果我们想创造一些其他可行的模型，就应该从大脑中寻找灵感。反向传播算法模拟的正是大脑的反馈机制。之后的年，计算机科学家YannLeCun在GeoffreyHinton组内做博士后期间，结合神经认知机和反向传播算法，提出了用于识别手写邮政编码的卷积神经网络LeNet，获得了99%的自动识别率，并且可以处理几乎任意的手写形式。这一算法在当时取得了巨大的成功，并被应用于美国邮政系统中。三、深度学习的爆发尽管如此，深度学习并没有因此而热门。原因之一，就是神经网络需要更新大量参数（仅年提出的AlexNet就需要65万个神经元和万个参数），需要强大的数据和算力的支持(图2)。而如果想通过降低网络的层数来降低数据量和训练时间，其效果也不如其他的机器学习方法（比如年前后大行其道的支持向量机，SupportVectorMachine）。年GeoffreyHinton的另一篇论文首度使用了“深度网络”的名称（DeepBeliefNets），为整个神经网络的优化提供了途径。虽然为后面深度学习的炙手可热奠定了基础，但是之所以用“深度网络”而避开之前“神经网络”的名字，就是因为主流研究已经不认可“神经网络”，甚至到了看见相关标题就拒收论文的程度。深度学习的转折发生在年。在计算机视觉领域，科学家也逐渐注意到了数据规模的重要性。年，斯坦福大学的计算机系副教授李飞飞（LiFei-Fei）发布了图像数据库ImageNet，共包含上千万张经过人工标记过的图片，分属于个类别，涵盖动物、植物、生活等方方面面。—年，计算机视觉领域每年都会举行基于这些图片的分类竞赛，ImageNet也因此成为全世界视觉领域机器学习和深度学习算法的试金石。年，GeoffreyHinton在多伦多大学的学生，AlexKrizhevsky，在ImageNet的分类竞赛中，通过在两块NVIDIA显卡（GPU）上编写神经网络算法而获得了冠军，而且其算法的识别率大幅超过第二名。这个网络随后被命名为AlexNet。这是深度学习腾飞的开始。

图2：AlexNet的网络结构（摘自原文Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton.Imagenetclassificationwithdeepconvolutionalneuralnetworks.Advancesinneuralinformationprocessingsystems..）

从AlexNet开始，由ImageNet提供数据支持，由显卡提供算力支持，大量关于神经网络结构的研究逐渐铺开。首先，由于大量软件包的发布（如Caffe，TensorFlow，Torch等），实现深度学习变得越来越容易。其次，在研究领域，从ImageNet分类竞赛和任务为更加复杂的图像分割和描述的COCO竞赛中，又产生了VGGNet、GoogLeNet、ResNet和DenseNet。这些神经网络的层数逐渐增加，从AlexNet的11层到VGGNet的19层，而到ResNet和DenseNet时，深度已经达到了层乃至层，达成了名副其实的“深度”学习。这些深度神经网络在一些数据集上关于分类问题的测试，甚至已经超过了人类的识别准确率（在ImageNet上人类的错误率大约为5%，而SENet的错误率可以达到2.25%）。如表1所示：

表1：历年ImageNet图片分类比赛优秀网络汇总（由原始论文计算，并参考

转载请注明:http://www.aideyishus.com/lktp/3383.html