ch7_4_数据挖掘算法--神经网络.pptVIP

人工神经网络（Artificial Neural Network，简称ANN）是指由简单计算单元组成的广泛并行互联的网络，能够模拟生物神经系统的结构和功能。 组成神经网络的单个神经元的结构简单，功能有限，但是，由大量神经元构成的网络系统可以实现强大的功能。 人工神经网络在模式识别、计算机视觉、智能控制、信号处理、语音识别、知识处理、机器学习、数据挖掘等领域有着广泛的应用前景。 在图中，x1，x2，…，xn表示某一神经元的n个输入；ωi表示第i个输入的连接强度，称为连接权值，正数权值表示兴奋性输入，负数权值表示抑制性输入；θ为神经元兴奋时的阈值，当神经元输入的加权和大于θ时，神经元处于兴奋状态；y为神经元的输出。可以看出，人工神经元是一个具有多输入，单输出的非线性器件。 常用的人工神经元模型功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。 （1）阈值型（Threshold）这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值σ和其输出f(σ)之间的关系，如图所示。 阈值型神经元是一种最简单的人工神经元，也就是我们前面提到的M-P模型。这种二值型神经元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。某一时刻，神经元的状态由功能函数f 来决定。 当激活值σ＞0时，即神经元输入的加权总和超过给定的阈值时，该神经元被激活，进入兴奋状态，其状态f(σ)为1； 否则，当激活值σ＜0时，即神经元输入的加权总和不超过给定的阈值时，该神经元不被激活，其状态f(σ)为0。 （2）分段线性强饱和型（Linear Saturation） 这种模型又称为伪线性，其输入／输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增大。如图所示。 （3）S型（Sibmoid）这是一种连续的神经元模型，其输出函数也是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的，输入输出特性常用指数、对数或双曲正切等S型函数表示。它反映的是神经元的饱和特性，如图所示。 （4）子阈累积型（Subthreshold Summation）这种类型的作用函数也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生一个反响。在线性范围内，系统的反响是线性的，如图所示。 多层前馈神经网络 最流行的神经网络算法是20世纪80年代提出的后向传播算法。 这种算法是在多层前馈神经网络基础上运行的。 BP网络 BP算法是目前应用最广泛的一种人工神经网络模型。 1986年，Rumelhart和 McCelland提出了误差后向传播（Error Back Propagation）算法，通常称为后向传播或反向传播算法，简称BP算法，标志着BP算法的产生， 成功地解决了多层网络中隐含层神经元连接权值的学习问题。 基本的BP算法采用有监督学习方式，基于梯度下降算法，极小化误差函数。其主要思想是将学习过程分为信号正向传播过程和误差后向传播过程两个阶段。 BP网络的各层之间具有不同的功能： 输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。 隐层是神经元网络的内部处理层，这些神经元在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。 输出层用于产生神经网络的输出模式。 BP学习原理 工作信号正向传播/前向传播 误差信号反向传播/后向传播 正向传播：当给定网络一组输入模式时，BP网络将依次对这组输入模式中的每个输入模式按如下方式进行学习：把输入模式从输入层传到隐含层单元，经隐含层单元逐层处理后，产生一个输出模式传至输出层，这一过程称为正向传播。 反向传播：如果经正向传播在输出层没有得到所期望的输出模式，则转为误差反向传播过程，即把误差信号沿原连接路径返回，并通过修改各层神经元的连接权值，使误差信号为最小。 重复正向传播和反向传播过程，直至得到所期望的输出模式为止。 BP网络的学习算法思想： 初始化网络及学习参数，即将隐含层和输出层各节点的连接权值、神经元阈值赋予[－1，1]区间的一个随机数。 提供训练模式，即从训练模式集合中选出一个训练模式，将其输入模式和期望输出送入网络。 正向传播过程，即对给定的输入模式，从第一隐含层开始，计算网络的输出模式，并把得到的输出模式与期望模式比较，若有误差，则执行第（4）步；否则，返回第（2）步，提供下一个训练模式； 反向传播过程，即从输出层反向计算到第一隐含层，逐层修正各单元的连接权值。 返回第（2）步，对训练模式集中的每一个训练模式重复第（2）到第（3）步，直到训练模