本文是对美国卡耐基梅隆大学（CMU）年秋天课程——深度进修的讲解，CMU向来走在深度进修周围的前列，即使该课程是年秋天开课的，不过其对于深度进修的讲授确凿是特别典范的。主讲师长是CMU副感化RuslanSalakhutdinov，课程险些涵盖了深度进修悉数的原形实质：图模子、线性模子、自编码器、进修和推理、蒙特卡洛法子、深度生成模子、生成对立网络等。总之，该课程是特别系统和完整的深度进修系列课程，绝对是读者初学和进一步粗浅知道深度进修的不贰之选。专知实质组编纂整治。

讲课师长RuslanSalakhutdinov集体主页

RuslanSalakhutdinov是来自卡内基梅隆大学（CMU的副感化，年被委任为苹果首任AI总监。从周全神经网络和深度进修的史书看，最严重的拐点是年7月，GeoffreyHinton为第一做家的两篇论文《AFastLearningAlgorithmforDeepBeliefNets》和《ReducingtheDimensionalityofDatawithNeuralNetworks》的公布，前者初次提议了layerwisegreedypretraining的法子，创始了深度进修方位；后者提议经过最小化函数集对熬炼集数据的重构过失，自适应地编解码熬炼数据的算法deepautoencoder，做为非线性降维法子在图象和文本降维尝试中显然优于保守法子，证实了深度进修法子的准确性。恰是这两篇论文引发了周全学术界对深度进修的趣味，才有了近十年来深度进修研讨的日新月异和攻破。而RuslanSalakhutdinov，即是深度进修史书上最严重的标识性论文之一、公布在Nature杂志上的那篇《ReducingtheDimensionalityofDatawithNeuralNetworks》的第二做家。此时的他不过是刚才加入GeoffreyHinton门下未几的一名博士生（RuslanSalakhutdinov于年赢得博士学位），但并不影响其在深度进修周围中的辈份。

RuslanSalakhutdinov对人为智能的进贡还在于进修深度生成模子的研讨上。年先后，RuslanSalakhutdinov与GeoffreyHinton提议了一种在前馈神经网络中举办灵验熬炼的算法。这一算法将网络中的每一层视为无监视的受限玻尔兹曼机，再哄骗有监视的反向流传算法举办调优（RuslanSalakhutdinov的博士论文即是这方面的实质）。在赢得博士学位后，Ruslan又花了两年功夫从事博士后研讨处事，从年起在多伦多大学担当协理感化，本年2月，他从多伦多大学转到卡内基梅隆大学，并实行了从协理感化到副感化的高出。

从年的标识性论文公布到目前为止的十年中，RuslanSalakhutdinov的研讨成效层见叠出。截至本文公布之日，RuslanSalakhutdinov的论文总引用数目到达次，此中近5年的引用次数为，这也表懂得在其向来灵活在深度进修的前沿周围。

CMU年秋天课程：深度进修

▌深度进修

课程：

本课程包含了深度进修的理论和法子，涵盖的议题包含：

讲解

布景：线性代数，散布，几率规定。

回归，分类。

前馈神经网络，反向流传算法，时兴的优化和正则化本领讲解。

运用于筹划机视觉的卷积模子。

深度进修提要

图模子：有向和无向。

线性因子模子，PPCA，FA，ICA，稀薄编码及其平添。

主动编码器及其平添。基于动力的形式，RBMs。

蒙特卡罗法子。

进修和推理：比较散度（CD），随机最大似然揣摸，分数般配，比率般配，伪随机揣摸，噪声比较揣摸。

退火重采样，分区函数揣摸。

深生成模子：笃信奉网络，深玻尔兹曼机械，Helmholtz机，变分自编码器，严重性加权自编码器，叫醒-就寝算法。

生成对立网络（GAN），生成矩般配网络，神经自回归密度揣摸（NADE）。

其余实质

更多对于深度网络的正则化和优化。

序列建模：递归神经网络，序列-序列，仔细力模子。

深入加强进修。

▌参考典籍

Goodfellow和YoshuaBengio和AaronCourville（）深度进修册本

转载请注明:http://www.aideyishus.com/lkzp/977.html