稀疏自编码器SAE重点.pptVIP

* * * * * Deep LearningSparse AutoEncoder 陈文根 控制科学与工程 河南工业大学 Content Deep Learning DL Model Training Algorithm Sparse AutoEncoder Deep Learning 概念：深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 特点：通过构建多隐层的模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 一般含多隐层的多层感知器就是一种深度学习结构。 DL Model “深度模型”是手段，“特征学习”是目的。 DL强调模型结构的深度，通常有5-10多层的隐层节点， BP、SVM是只含有一层隐层节点的浅层模型。 DL Model 自动编码器（AutoEncoder） 稀疏自动编码器（Sparse AutoEncoder） 降噪自动编码器（Denoising AutoEncoders） 限制波尔兹曼机（Restricted Boltzmann Machine） 深信度网络（Deep Belief Networks） 卷积神经网络（Convolutional Neural Networks） Training Algorithm 自动地学习特征 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元， 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 （对事物的理解是思维的演绎，梦境是对认知的生成，演绎和生成相互纠错，使得人对事物的理解更接近事物的真相。） Training Algorithm 第二步：自顶向下的监督学习 在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（如logstic、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。 算法动机 1.不充分的深度是有害的； 2.大脑有一个深度架构； 3.认知过程是深度的； AutoEncoder 将input输入一个encoder编码器，就会得到一个code，这个code也就是输入的一个表示，再加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和一开始的输入信号input是很像的（理想情况下就是一样的），就有理由相信这个code是靠谱的。所以，通过调整encoder和decoder的参数，使得重构误差最小，就得到了输入input信号的第一个表示了，也就是编码code了。 Sparse AutoEncoder Input：数据的输入； Encoder：编码器； Code：输入的一个表示； Decoder：解码器； Reconstruction: input的重建； Error: 重建数据和input的误差。 Sparse AutoEncoder ：输入值 ：编码函数 ：编码或内部表示 ：解码函数 ：输出，也称“重建值” ：损失函数，用于测量重建的好 坏，目标是最小化L的期望值。 Sparse AutoEncoder 自编码器本身就是一种BP神经网络。它是一种无监督学习算法 。这里我们让神经网络目标值等于输入值x ，也就是模拟一个恒等函数：h(x)=x 输入等于输出，这网络有什么意义？ 当我们把自编码神经网络加入某些限制，事情就发生了变化。 上图，就是一个基本的自编码神经网络，可以看到隐含层节点数量要少于输入层节点数量。 Sparse AutoEncoder 如果我们输入一张10*10的图像，这样就有100个像素，所以输入层和输出层的节点数量就是100。而我们取隐藏层节点数量为25。于是，这样就会迫使隐藏层节点学习得到输入数据的压缩表示方法，逼得隐藏层要用25维数据重构出100维的数据。这样也就完成了学习过程。 这和我们学习的过程很像，假设一共有100个考点，但是只允许你用25个知识点概括所有这些考点，这就是学习的过程。 Sparse AutoEncoder 更一般的，如果隐藏层节点数量很大，甚至比输入层节点数量还要多时，我们仍然可以使用自编码算法，但是这时需要加入稀疏性限制。这就是稀疏自编码器。 简单说就是要保证隐藏神经元在大多数情况下是被抑制的状态。具体表现就是sigmoid函数的输出大多数状态是0，tanh函数的输出大多数状态是-1。 这样有什么好处？这样能够迫使隐藏神经元发挥最大的潜力，在很不利的条件下学习到真正的特征。