BP神经网络介绍.pptxVIP

BP神经网络介绍 第1页/共19页 第四章 误差反向传播神经网络 4.1 误差反向网络的提出 4.2 BP神经网络结构基本思想 4.3 BP神经网络处理的单元模型 4.4 BP神经网络学习算法 4.5 BP网络的分析--梯度下降学习方法 4.6 BP人工神经网络模型的改进 第2页/共19页 4.1 误差反向网络的提出 1986 年,Romelhart 和McCelland 提出了误差反向传播算法( Error Back Propagation Algorithm ，简称BP 算法) ,由于多层前馈网络的训练经常采用误差反向传播算法，所以人们也常把多层前馈网络称为BP 网络。 BP算法采用非线性连续变换函数，使隐含层神经元具有了学习能力。其基本思想直观、易于理解，数学意义明确、步骤分明，所以BP 网络成为目前应用最广的神经网络。 18 3 第四章 误差反向传播神经网络 第3页/共19页 4 第四章 误差反向传播神经网络 修改权值阈值 教师信号 4.2 BP神经网络结构基本思想 18 第4页/共19页 4.2 BP神经网络结构基本思想 BP算法的主要思想是把训练过程分为两个阶段： 第一阶段(正向传播过程)给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值。 第二阶段(反向传播过程)若在输出层不能得到期望的输出值，那么逐层递归地计算实际输出与期望输出之差值，以便根据差值调节权值。 18 5 第四章 误差反向传播神经网络 第5页/共19页 4.3 BP神经网络处理的单元模型 18 6 第四章 误差反向传播神经网络 θj xn wnj yj 阈值θj的作用反应在s型生长曲线上是使曲线向右平移θj个单位，在BP网络里它起到了神经元兴奋水平的作用。 第6页/共19页 18 7 第四章 误差反向传播神经网络 4.3 BP神经网络处理的单元模型 Sigmoid函数的一阶导数： 第7页/共19页 4.4 BP神经网络学习算法 三层前馈网中: 输入模式k向量为X = ( x1 , x2 , ⋯,x n) T ，对应输入模式k的期望输出向量为Y = ( y1 , y2 , ⋯, yq ) T ； 中间隐含层的净输入向量为S=(s1,s2 , ⋯,sp)T，输出向量为B = (b1 , b2 , ⋯,bp) T ； 输出层净输入向量L=(l1,l2 , ⋯,lq)T，实际输出向量C=（c1,c2 , ⋯,cq)T； θ={θj}（j=1,2 , ⋯,p}为隐层神经元引入阈值，γ={γt}(t=1,2...q)为输出层神经元引入阈值； 输入层到隐层之间的权值矩阵 V = ( V1 , V2 , ⋯,V m) ，隐层到输出层之间的权值矩阵 W = ( W1 ,W2 , ⋯, Wr)。 18 8 第四章 误差反向传播神经网络 第8页/共19页 18 9 第四章 误差反向传播神经网络 第9页/共19页 18 10 第四章 误差反向传播神经网络 （1）计算中间隐含层各个神经元的净输入和输出 j=1,2,...,p （2）计算输出层各个神经元的净输入和实际输出 t=1,2,...,q （3）根据给定期望，计算输出层各个神经元的校正误差 （4）计算隐含层各个神经元的校正误差 4.4 BP神经网络学习算法 第10页/共19页 18 11 第四章 误差反向传播神经网络 （5）修正隐含层至输出层的连接权值V和输出层神经元的阈值γ，其中学习速率为α，0α1 j=1,2,...,p，t=1,2,...,q （6）修正输入层至隐含层的连接权值W和隐含层神经元的阈值θ，其中学习速率为β，0β1