作者：RuslanSalakhutdinov参与：Smith「无监督学习」（UnsupervisedLearning）现在已经成为深度学习领域的热点。和「有监督学习」相比，这种方法的最大优势就在于其无须给系统进行明确的标注（label）也能够进行学习。最近，在德国的图宾根，机器学习夏训营（MachineLearningSummerSchool）正在如火如荼地进行，其中来自CMU的RuslanSalakhutdinov教授就带来了很多关于「无监督学习」的精彩内容。今天机器之心给大家分享的正是其课件中有关「无监督学习中的非概率模型」的相关内容，主要介绍了稀疏编码（SparseCoding）和自编码器（Autoencoder），这两种结构也是「无监督学习」的基本构件。完整课件可查看「阅读原文」PDF。一、稀疏编码（SparseCoding）1.稀疏编码的概念稀疏编码最早由Olshausen和Field于年提出，用于解释大脑中的初期视觉处理（比如边缘检测）。目标：给定一组输入数据向量{x1,x2,...,xN}，去学习一组基字典（dictionaryofbases）：满足：其中ank的值大部分都为0，所以称为「稀疏」。每一个数据向量都由稀疏线性权值与基的组合形式来表达2.稀疏编码的训练为输入图像片段；为要学习的基字典（dictionaryofbases）。这个表达式的第一项为重构误差项；第二项为稀疏惩罚项。交替性优化：1.固定基字典，求解激活值a（这是一个标准的Lasso问题）；2.固定激活值a，优化基字典（凸二次规划问题——convexQPproblem）。3.稀疏编码的测试过程输入为一个新图像片段x*,和K个可学习的基；输出为一个图像片段x*的稀疏表达a（sparserepresentation）。[0,0,...,0.8,...,0.3...,0.5,...]为系数矩阵，也叫做特征表示（featurerepresentation）。下图为应用稀疏编码进行图像分类的相关实验结果，该实验是在Caltech物体类别数据集中完成的，并且用经典的SVM作为分类算法。4.稀疏编码的相关解释a是稀疏，且过完备（over-

转载请注明:http://www.aideyishus.com/lkzp/6700.html