深度学习简介资料.ppt

翟岩慧 山西大学计算机与信息技术学院 背景 为了让机器自动学习,需要提取特征,而特征提取一般由人工进行,并且非常困难 特征的有效性对学习算法可能有决定性的作用 背景 背景 无监督特征提取: Hinton, G. E., Osindero, S. and Teh, Y., A fast learning algorithm for deep belief nets.Neural Computation 18:1527-1554, 2006 (基于Restricted Boltzmann Machine (RBM)的Deep Belief Networks (DBN),采用逐层学习特征的无监督特征提取算法) Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007 (比较了RBM和Auto-encoder) Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun. Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007 (将稀疏自编码用于卷积结构) 背景 深度学习应用: 分类 回归 维数约简 纹理建模 行动建模 背景:深度学习 深度学习:可以进行自动特征提取,并生成具有层次结构特征集合组. 深度的意义体现在特征的层次结构上,目前的学习基本上都是浅层学习,如SVM(2),线性回归和逻辑回归(1), 深度学习的生物基础:大脑的运作方式是深度模式.如,视觉系统(5-10)... 背景:深度学习 理论基础: 深度的有效性 多层神经网络中,层次更少的神经网络近似某一函数会比层数较多的神经网络需要更多的(指数阶)参数. 逻辑门问题:2层逻辑门可以表示任意布尔函数. 已经证明,某些需要多项式个逻辑单元的k层电路来表示的函数需要指数个逻辑单元的k-1层电路才能表示. 理论基础: 深度的有效性解释 理论基础: 深度的有效性解释 因子化在图像处理中的解释: 第一层可以学习如何将图像中的像素组合在一起来检测边缘 第二层可以将边缘组合起来检测更长的轮廓或者简单的“目标的部件” 在更深的层次上，可以将这些轮廓进一步组合起来以检测更为复杂的特征 理论基础: 深度的有效性解释 深度学习式神经网络 深度网络的简洁性和较强的表达能力 训练深度网络有一些困难(主要指BP算法) 数据获取问题(需要的样本过多) 局部极值问题(太多的局部极值) 梯度弥散问题(BP算法对前面层次的训练效果较差) 深度学习式神经网络 解决的方法——逐层贪婪算法 每次只训练网络中的一层：首先训练一个只含一个隐藏层的网络，然后训练一个有两个隐藏层的网络，以此类推。 每一层的训练可以是有监督的（例如，将每一步的分类误差作为目标函数），但更通常使用无监督方法（如自动编码器）。这些各层单独训练所得到的权重被用来初始化最终（或者说全部）的深度网络的权重，然后对整个网络进行“微调”（即把所有层放在一起来优化有标签训练集上的训练误差） 深度稀疏自编码 无标签数据 参数 学习目标 限制: 隐层维数(降维) 隐层表示稀疏性 深度稀疏自编码 深度稀疏自编码 深度稀疏自编码 深度稀疏自编码 深度稀疏自编码 已标注训练集 两种表示方式: 替代表示 级联表示 深度信念网 由RBM（Restricted Boltzmann Machine ）栈式组合而成 生成模型 RBM 深度学习式神经网络 逐层贪婪算法优点 数据获取(自学习方法使用无标签样本来学习特征) 更好的局部极值(使用逐层训练好的权值作为网络初值) 深度学习:稀疏性 深度学习:限制生成特征为（稀疏）分布表示. 特征的分布表示意味着每一个特征都包含尽可能多的信息,因此生成的特征之间相对于原样本不是互斥的. 特征的分布表示意味着信