2016-10-25神经网络及深度学习简介知识讲稿.pptx

2016年10月 可靠性小组学术交流 学 生： 雷文辉 导 师： 刘 宇 教授 专 业： 工业工程 神经网络及深度学习简介及其应用An Introduction to Neural Network and Deep Learning and Its Application 概 述 课题背景及意义 主要内容 神经网络简介 深度学习框架简介 3. 应用实例 4. 总结 2 背景及意义 神经网络（Neural Network, NN）是机器学习的一个分支； 神经网络的基本理论形成于上世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习； 深度学习框架（Deep Learning）可以追溯到1980年福岛邦彦提出的新认知机； 深度学习可以说是神经网络的品牌重塑； 3 人工神经网络 4 网络结构 5 典型的神经网络具有以下三个部分： 结构 （Architecture）： 结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。 激励函数（Activity Rule）： 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。 学习规则（Learning Rule）：学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。 举例 6 BP（Back Propagation）神经网络 BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型： BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。 BP神经网络 7 在知道了BP神经网络的特点后，我们需要依据信号的前向传播和误差的反向传播来构建整个网络。 1、网络的初始化     假设输入层的节点个数为 ，隐含层的节点个数为 ，输出层的节点个数为 。输入层到隐含层的权重 ，隐含层到输出层的权重为 ，输入层到隐含层的偏置为 ，隐含层到输出层的偏置为 。学习速率为 ，激励函数为 。其中激励函数为取Sigmoid函数。形式为： 10 深度学习框架 基本概念 深度学习的基础是机器学习中的分散表示（distributed representation）。分散表示假定观测值是由不同因子相互作用生成。在此基础上，深度学习进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽象。不同的层数和层的规模可用于不同程度的抽象。 深度学习运用了这分层次抽象的思想，更高层次的概念从低层次的概念学习得到。这一分层结构常常使用贪婪算法逐层构建而成，并从中选取有助于机器学习的更有效的特征. 不少深度学习算法都以无监督学习的形式出现，因而这些算法能被应用于其他算法无法企及的无标签数据，这一类数据比有标签数据更丰富，也更容易获得。这一点也为深度学习赢得了重要的优势。 11 深度学习框架 神经网络层数越多，刻画现实能力越强 问题1： 如何解决梯度消失以及易陷入最优解问题？ 问题2： 使用何种方法从低层次特征中学习高层次特征？ 问题1解决方法 12 第一阶段： 2006年Hinton提出的逐层预训练方法，为了解决深层神经网络的训练问题，一种有效的手段是采取无监督逐层训练（unsupervised layer-wise training），其基本思想是每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，这被称之为“预训练”（pre-training）；在预训练完成后，再对整个网络进行“微调”（fine-tunning）训练。 事实上，“预训练+微调”的训练方式可被视为是将大量参数分组，对每组先找到局部看起来较好的设置，然后再基于这些局部较优的结果联合起来进行全局寻优。这样就在利用了模型大量参数所提供的自由度的同时，有效地节省了训练开销。 问题1解决方法 13 第二阶段： 第二个阶段开始的标志就是2012年IMAGENET比赛中，CNN以压倒性优势