BP误差公式推导完全讲解.ppt

* * * 可以看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，即：学习率η、本层输出的误差信号δ以及本层输入信号Y(或X)。其中输出层误差信号与网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。 * * 误差反传（BP）算法 人工神经网络 第二组 * BP算法描述及推导－主要内容 引言 BP学习算法描述 BP算法推导 * 引言－－BP算法的提出 提高网络性能（如分类能力）的有效途径 包含隐层的多层前馈网络 长期以来没有提出解决权值调整问题的有效算法。 BP (Error Back Proragation，BP)算法 1986年，Rumelhart 和McCelland领导的科学家小组《Parallel Distributed Processing》一书 应用对象：多层前馈网络 具有非线性连续转移函数 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 * 基于BP算法的多层前馈网络模型 误差反传（BP）算法 误差反传（BP）算法 * 模型的数学表达 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？ * 对于输出层： k=1,2,…,l (3.4.1) k=1,2,…,l (3.4.2) 对于隐层： j=1,2,…,m (3.4.3) j=1,2,…,m (3.4.4) 误差反传（BP）算法 基于BP算法的多层前馈网络模型 * 双极性Sigmoid函数： 单极性Sigmoid函数： (3.4.5) 误差反传（BP）算法 基于BP算法的多层前馈网络模型 * 一、网络误差与权值调整 输出误差E定义： (3.4.6) 将以上误差定义式展开至隐层： (3.4.7) 误差反传（BP）算法 BP学习算法 * 一、网络误差与权值调整 进一步展开至输入层： (3.4.8) 误差反传（BP）算法 BP学习算法 * j=0,1,2,…,m; k=1,2,…,l (3.4.9a) i=0,1,2,…,n; j=1,2,…,m (3.4.9b) 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m 误差反传（BP）算法 BP学习算法 * 二、BP算法推导 对于输出层，式(3..4.9a)可写为 (3.4.10a) 对隐层，式(3..4.9b)可写为 (3.4.10b) 对输出层和隐层各定义一个误差信号，令 (3.4.11a) (3.4.11b) 误差反传（BP）算法 BP学习算法 * 综合应用式(3.4.2)和(3.4.11a)，可将式 (3.4.10a)的权值调整式改写为 综合应用式(3.4.4)和(3..4.11b)，可将式 (3.17b)的权值调整式改写为 (3.4.12a) （3.4.12b) 可以看出，只要计算出式(3.4.12)中的误差信号?o和?y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号?o和?y 。 误差反传（BP）算法 * 对于输出层， ?o可展开为 对于隐层， ?y可展开为 下面求网络误差对各层输出的偏导。 (3.4.13a) （3.4.13b) 误差反传（BP）算法 *