第5章 人工神经网络和机器学习.pptx

商业智能：方法与应用第5章 人工神经网络和 机器学习温浩宇 西安电子科技大学出版社5.1 人工神经网络概述目 录人工神经网络的产生和发展神经元结构C5.2 BP神经网络ONTENTSBP神经网络简介BP算法实例5.3 深度学习深度学习概述卷积神经网络循环神经网络5.1 人工神经网络概述神经元结构人工神经网络的产生和发展5.1.1 人工神经网络的产生和发展和人脑神经网络类似，人工神经网络时由人工神经元以及神经元之间的连接构成。2人工神经网络类似于生物神经网络，是一种受人脑神经网络工作方式的启发而构造的一种数学模型。31人工神经网络中有两类特殊的神经元：一类用来接受外部的信息；一类负责输出信息。人工神经网络可以看作是信息从输入到输出的信息处理系统。5.1.1 人工神经网络的产生和发展Hinton在《Science》和相关期刊上发表论文，首次提出“深度信念网络”的概念。计算机学家Rosenblatt提出了由两层神经元组成的神经网络“感知器”理学家W.S.McCulloch和数学家W.Pitts发表人工神经元模型，也称MP模型。Rumelhar和Hinton等人提出了反向传播算法MP模型、单层神经网络（感知器）开始，到包含一个隐含层的两层神经网络，再到多层的深度神经网络，人工神经网络的发展一波三折，其发展历程见下页人工神经网络发展历程图。5.1.1 人工神经网络的产生和发展人工神经网络发展历程5.1.2 神经元结构人工神经网络是一种运算模型，由大量的节点（或称之为神经元）相互连接构成。目前人们提出的神经元模式已有很多，其中普遍使用的神经元结构是在MP模型基础上不断完善得到神经元模型，结构如下图。人工神经元结构?图中每个输入的大小用确定数值表示；称为权重值，是对每一个输入的加权系数，求和符号Σ表示输入信号的“总和值”。人工神经元的输出同生物神经元一样仅有一个，如用表示，则输出和输入之间的对应关系可用上图中的激活函数表示，只有当所有输入的加权求和，再经过激活函数并达到阈值水平时，才会产生输出。5.1.2 神经元结构?上页所述内容可用一组数学表达式进行概括。令表示时刻神经元接收到的来自神经元的输入信息，表示时刻神经元的输出信息，则神经元的状态可表示为：用代替，上式可简化为神经元的各种不同数学模型最主要的区别在于采用了不同的激活函数，从而使神经元模型具有不同的信息处理特性。神经元的激活函数反映了神经元输出与其激活状态之间的关系，最常用的激活函数有以下4种。1）阈值型激活函数2）非线性激活函数3）分段线性激活函数4）概率型激活函数阈值型激活函数?用式和式分别定义单极性阈值型激活函数和双极性阈值型激活函数，具有这一作用方式的神经元称为阈值型神经元，这是神经元模型中最简单的一种，MP模型就属于这一类。函数中的代表，当＞时，神经元为兴奋状态，输出为1；当＜时，神经元为抑制状态，在单极性阈值型激活函数中，输出为0，在双极性阈值型激活函数中，输出为-1。感知器的神经元就使用了阈值型激活函数。感知器一般是单层感知器，它是指只含有输入层和输出层的神经网络，是一种二元线性分类器。由于输入直接经过权重关系转化为输出，所以感知器可以被视为最简单形式的前馈神经网络。非线型激活函数?非线性激活函数为实数域R到[0,1]闭集的非减连续函数，代表了状态连续型神经元模型。最常用的非线性激活函数是单极性的Sigmoid函数曲线，简称S型函数，其特点是函数本身及其导数都是连续的，因而在处理上十分方便。单极性S型函数定义如下：有时也采用双极性S型函数（双曲正切）等形式。分段线型激活函数?该函数的特点是神经元的输入与输出在一定区间内满足线性关系，由于具有分段线性的特点，因而在实现上比较简单，这类函数也称为伪线性函数。单极性分段线性激活函数的表达式如下：式中，c为线性段的斜率。双极性分段线性激活函数定义如下：概率型激活函数?采用概率型激活函数的神经元模型其输入和输出之间的关系是不确定的，需要用一个随机函数来描述其输出状态为1或0的概率。设神经元输出为1的概率为：上式中，T称为温度参数。由于采用该激活函数的神经元输出状态分布与热力学中的玻尔兹曼分布相类似，因此这种神经元模型也称为热力学模型。5.1.2 神经元结构?神经元模型除了上述的输入、输出、权重值、阈值和激活函数，还有偏置值，通常用表示。在人工神经网络中，这些偏置节点是默认存在的，其本质是一个是含有存储功能，且存储值永远为1的单位。加入偏置值的作用是使得神经元模型的分类效果更好。偏置值加在输入之和后面，如下图所示。人工神经网络结构（考虑偏执节点）?加入偏置节点后，神经元的状态要表示为：5.2 BP神经网络BP算法实例BP神经网络简介5.2.1 BP神经网络简介1BP（Back Propaga