深度学习学习资料文件.pptVIP

深度学习之置信网络 控制科学与工程 康含玉 2015000307 V1 训练过程 总结 置信网络 产生背景 深度学习概述 基本思想 一、概念 深度学习的实质，是通过构建具有很多隐层的机器学习模型，组合低层特征形成更加抽象的高层来表示属性类别或特征，以发现数据的分布式特征。其动机在于建立模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像，声音和文本。因此，“深度模型”是手段，“特征学习”是目的。含多隐层的多层感知器就是一种深度学习结构。 深度学习概述 DBN 二、产生和发展 1、2006年提出Deep Learning算法，人工智能得到快速发展，解决了计算机处理“抽象概念”。 2、2012年6月，Google Brain项目，用16000个CPU Core的并行计算平台训练“深度神经网络”（DNN）的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功。 深度学习概述 DBN DBN 产生原因： 1、人工智能的发展 大脑神经系统的发现，促成了计算机人工智能突破性发展； 2、机器学习的需要 深度学习出现前，机器学习在图像识别、语音识别等方面发展缓慢。 深度学习产生背景 DBN 三、特征 1、机器学习的思路：通过传感器（例如CMOS）来获得数据；预处理、特征提取、特征选择；推理、预测或者识别。 2、中间的三部分，既特征表达。系统主要的计算和测试工作都耗在这一大部分。但实际中靠人工提取特征。 特征的概念 DBN 三、特征 3、像素级的特征无法进行物体的识别。学习算法需要结构性的特征； 4、初级（浅层）特征表示。主要算法是稀疏编码。 1）数学描述： Sum_k (a[k] * S[k]) -- T, （a[k] 是在叠加S[k] 时的权重系数，T为目标）。 特征 DBN 2）复杂图形，往往由一些基本结构组成。 如图：一个图可以通过用64种正交的edges（可以理解成正交的基本结构）来加权求和表示。 特征 DBN 5、结构性特征表示 复杂图形结构性特征：V1表示基basis，V2看V1是像素级，层次递进，高层表达由底层表达的组合而成。V1取提出的basis是边缘，然后V2层是V1层这些basis的组合，V2区得到的又是高一层的basis。即上一层的basis组合的结果，依此类推 特征 DBN 特征 DBN 在不同目标上做测试时，所得的基本结构是非常相似的，但目标部分和模型就会不同了（分辨车或者人脸更容易）： 深度学习的核心思想： 把学习层次结构看做一个网络， ①无监督学习用于每一层网络的训练； ②每次用无监督学习只训练一层，将其训练结果作为其更高一层的输入； ③用监督学习去调整所有层。 深度学习的基本思想 DBN DBN(Deep BeliefNet)由Hinton等人在2006年提出，是第一种有效深度学习网络，由一系列受限波尔兹曼机(RBM)组成，核心算法为贪婪学习算法。 DBN的训练过程分为两个步骤：1、逐层获取特征信息;2、对整个深度网络进行微调，进行精确训练。层与层之间采用贪婪学习算法，在训练中，经过训练得到的第一层特征被当作第二层的输入，被用于第二个RBM的训练，该过程一直持续到DBN中所有的隐藏层得到训练为止。 DBN深度置信网络 DBN 贪婪学习算法 1受限波尔兹曼机 训练过程 1、受限波尔兹曼机（RBM） 受限玻尔兹曼机是 DBN 的组成元件。每一个 RBM 都可以单独用作聚类器。 RBM 只有两层神经元，一层叫做显层 ，由显元组成，用于输入训练数据。另一层叫做隐层，由隐元 组成，用作特征检测器。每一层都可以用一个向量来表示，每一维表示每个神经元。两层间对称 (双向) 连接。 显层和隐层内部的神经元都没有互连，只有层间的神经元有对称的连接线。这样的好处是，在给定所有显元的值的情况下，每一个隐元取什么值是互不相关的。 DBN深度置信网络 1、受限波尔兹曼机（RBM） DBN深度置信网络 1、受限波尔兹曼机（RBM） 在给定所有显元的值的情况下，每一个隐元取什么值是互不相关的： 在给定隐层时，所有显元的取值也互不相关： DBN深度置信网络 在计算每个神经元的取值情况时可以同时并行地计算整层神经元。假设已经得到一个训练好的 RBM，每个隐元与显元间的权重用矩阵W表示。Wij代表从第i个显元到第j个隐元的权重，M代表显元个数，N代表隐元。 当把一条新来的数据 附给显层后，RBM 将会依照权值W来决定开启或关闭隐元。 具体的操作：首先将每个隐元的激励值计算出来 然后，将每个隐元的激励值进行标准化，变成它们处于开启状 (用 1 表示) 的概率值 其处于关闭状态