2020深度学习汇报.pptVIP

深度学习（ Deep Learning ） 1/25 Outline 概念 基本学习算法 应用 目前的困难程度 2/25 深度学习的概念 3/25 什么是 deep learning? 深度学习 ： 一种基于无监督特征 学习和特征层次结构的学习方法。 本质 ： 通过构建多隐层的模型和 海量训练数据，来学习更有用的特征， 从而最终提升分类或预测的准确性。 含多隐层的多层感知器就是一 种深度学习结构。 DL 训练过程 4/25 深度学习的基本思想： 对于 Deep Learning ，需要自动地学习特征，假设有一堆输入 I ，输出是 O ， 设计一个系统 S （有 n 层），形象地表示为： I =S1=S2=.....=Sn = O ， 通过调整系统中参数，使得它的输出仍然是输入 I ，那么就可以自动地获取 得到输入 I 的一系列层次特征，即 S1 ， ..., Sn 。 深度学习训练过程： 第一步：采用自下而上的无监督学习 1 ）逐层构建单层神经元。 2 ）每层采用 wake-sleep 算法进行调优。每次仅调整一层，逐层调 整。 DL 训练过程 5/25 wake-sleep 算法 : 1 ） wake 阶段： 认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示 （结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。 2 ） sleep 阶段： 生成过程，通过上层概念（ Code ）和向下的生成（ Decoder ）权重，生成下层 的状态，再利用认知（ Encoder ）权重产生一个抽象景象。利用初始上层概念和新 建抽象景象的残差，利用梯度下降修改层间向上的认知（ Encoder ）权重。 DL 训练过程 6/25 第二步：自顶向下的监督学习 这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个 分类器（例如罗杰斯特回归、 SVM 等），而后通过带标签数据的监督学习，利 用梯度下降法去微调整个网络参数。 DL 模型 7/25 深度学习的具体模型及方法： 1 、自动编码器（ AutoEncoder ） 2 、稀疏自动编码器 (Sparse AutoEncoder) 3 、限制波尔兹曼机（ Restricted Boltzmann Machine ） 4 、深信度网络（ Deep Belief Networks ） 5 、卷积神经网络（ Convolutional Neural Networks ） 自动编码器 8/25 1 、自动编码器（ AutoEncoder ） 将 input 输入一个 encoder 编码器，就会得到一个 code ，这个 code 也就是输入的一个 表示，再加一个 decoder 解码器，这时候 decoder 就会输出一个信息，那么如果输出的 这个信息和一开始的输入信号 input 是很像的（理想情况下就是一样的），就有理由相 信这个 code 是靠谱的。所以，通过调整 encoder 和 decoder 的参数，使得重构误差最小， 就得到了输入 input 信号的第一个表示了，也就是编码 code 了。 因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。 稀疏自动编码器 9/25 2 、稀疏自动编码器 (Sparse AutoEncoder) 如上图，其实就是限制每次得到的表达 code 尽量稀疏。因为稀疏的 表达往往比其他的表达要有效。 在 AutoEncoder 的基础上加上 L1 的 Regularity 限制（ L1 主要是约束每一 层中的节点中大部分都要为 0 ，只有少数不为 0 ），就可以得到 Sparse AutoEncoder 法。 RBM 10/25 3 、限制波尔兹曼机（ RBM ） 定义：假设有一个二部图，同层节点之间没有链接，一层是可视层，即输入数 据层（ v) ，一层是隐藏层 (h) ，如果假设所有的节点都是随机二值（ 0 ， 1 ）变量节点， 同时假设全概率分布 p(v,h) 满足 Boltzmann 分布，称这个模型是 RBM 。 RBM 11/25 训