人工神经网络理论、设计及应用 第3章 前馈神经网络2.pptVIP

第三章 前馈神经网络 3.4误差反传（BP）算法 回顾 3.1单层感知器 模型：单计算节点感知器实际上就是一个M-P神经元模型 功能：解决线性可分问题 局限性：不能解决线性不可分问题 学习算法：有导师学习 3.2多层感知器 模型：有隐层的多层前馈网络 功能：能够求解非线性问题 局限性：隐层神经元的学习规则尚无所知 3.3BP算法及改进－主要内容 引言 基于BP算法的多层前馈网络模型 BP算法的实现 基本思想 推导过程 程序实现 BP学习算法的功能 BP学习算法的局限性 BP学习算法的改进 引言－－BP算法的提出 提高网络性能（如分类能力）的有效途径 包含隐层的多层前馈网络 长期以来没有提出解决权值调整问题的有效算法。 非线性连续转移函数 BP (Error Back Proragation，BP)算法 1986年，Rumelhart 和McCelland领导的科学家小组《Parallel Distributed Processing》一书 应用对象：多层前馈网络 具有非线性连续转移函数 3.4误差反传（BP）算法 模型的数学表达 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？ 3.4.2 BP学习算法 3.4.2 BP学习算法 3.4.2 BP学习算法 3.4.2 BP学习算法 北京工商大学信息工程学院 * 北京工商大学信息工程学院 3.4.1 基于BP算法的多层前馈网络模型 误差反传（BP）算法 对于输出层： k=1,2,…,l (3.4.1) k=1,2,…,l (3.4.2) 对于隐层： j=1,2,…,m (3.4.3) j=1,2,…,m (3.4.4) 误差反传（BP）算法 3.4.1 基于BP算法的多层前馈网络模型 双极性Sigmoid函数： 单极性Sigmoid函数： (3.4.5) 误差反传（BP）算法 3.4.1 基于BP算法的多层前馈网络模型 一、网络误差与权值调整 输出误差E定义： (3.4.6) 将以上误差定义式展开至隐层： (3.4.7) 误差反传（BP）算法 一、网络误差与权值调整 进一步展开至输入层： (3.4.8) 误差反传（BP）算法 j=0,1,2,…,m; k=1,2,…,l (3.4.9a) i=0,1,2,…,n; j=1,2,…,m (3.4.9b) 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m 误差反传（BP）算法 二、BP算法推导 对于输出层，式(3.15a)可写为 (3.4.10a) 对隐层，式(3.15b)可写为 (3.4.10b) 对输出层和隐层各定义一个误差信号，令 (3.4.11a) (3.4.11b) 误差反传（BP）算法 综合应用式(3.4.2)和(3.4.11a)，可将式 (3.4.10a)的权值调整式改写为 综合应用式(3.13)和(3.21b)，可将式 (3.17b)的权值调整式改写为 (3.4.12a) （3.4.12b) 可以看出，只要计算出式(3.4.12)中的误差信号?o和?y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号?o和?y 。 误差反传（BP）算法 对于输出层， ?o可展开为 对于隐层， ?y可展开为 下面求式(3.23)中网络误差对各层输出的偏导。 (3.4.13a) （3.4.13b) 误差反传（BP）算法 对于输出层，利用式(3.4.6)： 对于隐层，利用式(3.4.7)： （3.4.14a) 可得： （3.4.14b) 可得： 误差反传（BP）算法 将以上结果代入式(3.4.13)，并应用式(3.15)： （3.4.15a) 得到： （3.4.15b) 至此两个误差信号的推导已完成。 误差反传（BP）算法 将式(3.4.15)代回到式(3.4.12)，得到三层前馈网的BP学习算法权值调整计算公式为： (3.4.16a) (3.4.16b) 误差反传（BP）算法 误差反传（BP）算法 前面已指出，含有隐层的多层前馈网络能大大提高网络的分类能力，但长期以来没有提出解决权值调整问题的有效算法。1986年，Rumelhart 和McCelland领导的科学家小组