20140409深度学习(deep learning)final概要1.pptVIP

自动编码器 经过上面的方法，每一层都会得到原始输入的不同的表达。 这个AutoEncoder还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。??? 自动编码器 将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，一个是只调整分类器（黑色部分） 自动编码器 ?另一种：通过有标签样本，微调整个系统：（如果有足够多的数据，这个是最好的） ?????? 在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好！ Sparse AutoEncoder稀疏自动编码器 如在AutoEncoder的基础上加上限制（主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），就可以得到Sparse AutoEncoder法。 Denoising AutoEncoders降噪自动编码器 ?降噪自动编码器DA是在自动编码器的基础上，训练数据加入噪声，所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。 深度信念网络 DBNs是一个包含多层隐层（隐层数大于2）的概率生成模型，每一层从前一层的隐含单元捕获高度相关的关联。 学习的方法采用贪婪算法，时间复杂度和空间复杂度均为线性，适用于大规模数据的学习。 卷积神经网络 卷积神经网络是一种有监督的深度学习模型，已成为当前语音分析和图像识别领域的研究热点。 卷积网络的核心思想：局部感受野、权值共享（或者权值复制）以及时间或空间亚采样。 这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 * 卷积神经网络 图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。 权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。 良好的容错能力，并行处理能力和自学能力。可以处理环境复杂，推理规则不明确的问题。 总结 深度学习是关于自动学习要建模的数据的潜在（隐含）分布的多层（复杂）表达的算法。 深度学习算法从原始图像去学习得到它的一个低层次表达，然后在这些低层次表达的基础上再建立表达，重复这个过程，最后得到一个高层次的表达。 对于图像、语音这种特征不明显的问题，能够在大规模训练数据上取得更好的效果。 深度学习目前仍有大量工作需要研究： 有效的可并行训练算法 探索新的特征提取模型。 充分合理地利用深度学习在增强传统学习算法的性能 总结 Thank you！ * * Deep Learning 深度学习 1. 背景 2. 人脑视觉机理与特征 3. 深度学习基本思想 4. 深度学习常用模型 5. 总结 背景 图灵（计算机和人工智能的鼻祖）在 1950 年的论文里，提出图灵试验的设想，即隔墙对话，你将不知道与你谈话的是人还是电脑。 机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。 从机器学习的模型结构层次来分，机器学习经历了两次浪潮： 1、浅层学习（Shallow Learning）：机器学习第一次浪潮 2、深度学习（Deep Learning）：机器学习第二次浪潮 * 浅层学习 20世纪80年代末期，由于人工神经网络的反向传播算法（BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。 20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支持向量机（SVM）、 Boosting、最大熵方法（LR）等。 * 深度学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton等在《Science》上发表了一篇文章[1]，开启了深度学习在学术界和工业界的浪潮。 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。 [1] Hinton,?Geoffrey;Osindero, Simon;Welling, Max;Teh, Yee-Whye?. Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation. Science.2