深度学习.Anintroductiontodeeplearning概览.pptx

An Introduction to Deep Learning;Mystical Force of Deep Learning;deep neural network，深度神经网络，属于深度学习的一种)来提高语音识别准确率的效果，相比目前最先进的基于Hidden Markov Model的技术，其准确率提升了大约30%;Background: machine learning;选取好的特征对分类的效率有很大影响，手工地选取特征是一件非常费力、启发式的方法。 Deep learning ,又叫 Unsupervised Feature Learning或者Feature Learning，是一种特征学习算法。用Deep learning方法可以很容易得到能拿来有效利用的高度抽象的特征。;Motivation: why go deep?;How to train Deep Architecture;What is wrong with back-propagation?;The efficient deep architecture;autoencoder neural network ;训练过程;the simplest neural network which comprises a single neuron;the parameter b ：bias or intercept term ;activation function ：;Neural Network model;Neural Network model;Backpropagation Algorithm;目标：求 W , b 使得 J(W , b)最小;Autoencoder;限制隐藏神经元的数量，可以学习输入数据的压缩表示，或跟主元分析结果相似的输入数据的低维表示;稀疏性的实现：;Our overall cost function is now;一次迭代的过程：;训练结果的可视化;每个小方块都给出了一个（带有有界范数 的）输入图像x，它可使这100个隐藏单元中的某一个获得最大激励。 我们可以看到，不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。 ;到这里，这个AutoEncoder还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。或者说，它只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号。 那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如logist回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。;给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重，自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征，在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好;Thanks!