深度学习01教材.ppt

* * 深度学习（Deep Learning） */23 目录 1 概念 2 深度学习基本思想 3 深度学习的训练过程 4 深度学习的具体模型 5 应用 目录 1 概念 2 深度学习基本思想 3 深度学习的训练过程 4 深度学习的具体模型 5 应用 深度学习的概念 */23 什么是deep learning? 深度学习：一种基于无监督特征学习和特征层次结构的学习方法。 本质：通过构建多隐层的模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 含多隐层的多层感知器就是一种深度学习结构。 与浅层学习区别： 1）强调了模型结构的深度，通常有5-10多层的隐层节点； 2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 目录 1 概念 2 深度学习基本思想 3 深度学习的训练过程 4 深度学习的具体模型 5 应用 DL基本思想 */23 深度学习的基本思想： 对于Deep Learning，需要自动地学习特征，假设有一堆输入I，输出是O，设计一个系统S（有n层），形象地表示为： I =S1=S2=.....=Sn = O，通过调整系统中参数，使得它的输出仍然是输入I，那么就可以自动地获取得到输入I的一系列层次特征，即S1，..., Sn。 把学习结构看作一个网络，则深度学习的核心思路如下: ?无监督学习用于每一层网络的pre-train;（逐层训练） ?每次用无监督学习只训练一层，将其训练结果作为其高一层的输入; ?用监督学习去调整所有层是通过组合低层特征形成更加抽象的高层特征 目录 1 概念 2 深度学习基本思想 3 深度学习的训练过程 4 深度学习的具体模型 5 应用 DL训练过程 */23 深度学习训练过程： 第一步：采用自下而上的无监督学习 第二步：自顶向下的监督学习?????? ? 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元。 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 DL训练过程 */23 wake-sleep算法: 1）wake阶段： 认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。 2）sleep阶段： 生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。 DL训练过程 */23 ?第二步：自顶向下的监督学习?????? 这一步是在第一步学习获得各层参数的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。 目录 1 概念 2 深度学习基本思想 3 深度学习的训练过程 4 深度学习的具体模型 5 应用 DL模型 */23 深度学习的具体模型及方法： 1、自动编码器（ AutoEncoder ） 2、稀疏自动编码器(Sparse AutoEncoder) 3、限制波尔兹曼机（Restricted Boltzmann Machine） 4、深信度网络（Deep Belief Networks） 5、卷积神经网络（Convolutional Neural Networks） 自动编码器 */23 1、自动编码器（ AutoEncoder ） 将input输入一个encoder编码器，就会得到一个code，这个code也就是输入的一个表示，再加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和一开始的输入信号input是很像的（理想情况下就是一样的），就有理由相信这个code是靠谱的。所以，通过调整encoder和decoder的参数，使得重构误差最小，就得到了输入input信号的第一个表示了，也就是编码code了。 因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。 稀疏自动编码器 */23 2、稀疏自动编码器(Sparse AutoEncoder) 如上图，其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效。 在AutoEncoder的基