3前馈神经网络.pptVIP

北京工商大学信息工程学院韩力群制作 3 前馈神经网络 3.4误差反传（BP）算法 3.4.2 BP学习算法 一、网络误差 定义与权值调整思路 输出误差E定义： (3.4.6) 将以上误差定义式展开至隐层： (3.4.7) 3 前馈神经网络 3.4误差反传（BP）算法 3.4.2 BP学习算法 一、网络误差与权值调整 进一步展开至输入层： (3.4.8) 3 前馈神经网络 3.4误差反传（BP）算法 3.4.2 BP学习算法 j=0,1,2,…,m; k=1,2,…,l (3.4.9a) i=0,1,2,…,n; j=1,2,…,m (3.4.9b) 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m 3.4.2 BP学习算法 二、BP算法推导 对于输出层，式(3.4.9a)可写为 (3.4.10a) 对隐层，式(3.4.9b)可写为 (3.4.10b) 对输出层和隐层各定义一个误差信号，令 (3.4.11a) (3.4.11b) yj xi 综合应用式(3.4.2)和(3.4.11a)，可将式 (3.4.10a)的权值调整式改写为 综合应用式(3.4.4)和(3.4.11b)，可将式 (3.4.10b)的权值调整式改写为 (3.4.12a) （3.4.12b) 可以看出，只要计算出式(3.4.12)中的误差信号?o和?y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号?o和?y 。 对于输出层， ?o可展开为 对于隐层， ?y可展开为 下面求式(3.4.13)中网络误差对各层输出的偏导。 (3.4.13a) （3.4.13b) 对于输出层，利用式(3.4.6)： 对于隐层，利用式(3.4.7)： （3.4.14a) 可得： （3.4.14b) 可得： 将以上结果代入式 （3.4.15a) 得到： （3.4.15b) 至此两个误差信号的推导已完成。 并应用式 同理 将式(3.4.15)代回到式(3.4.12)，得到三层前馈网的BP学习算法权值调整计算公式为： (3.4.16a) (3.4.16b) * 3 前馈神经网络 3.1单层感知器 3.1.1感知器模型 3 前馈神经网络 3.1单层感知器 3.1.1感知器模型 j=1,2,…,m 3 前馈神经网络 3.1单层感知器 3.1.1感知器模型 净输入： (3.1) 输出： (3.2) oj x1 -1 xn … 3 前馈神经网络 3.1单层感知器 3.1.2感知器的功能 (1)设输入向量X=(x1 ,x2)T 输出： 则由方程 w1jx1+w2jx2-Tj=0 (3.3) 确定了二维平面上的一条分界线。 oj x1 -1 x2 单计算节点感知器 3 前馈神经网络 3.1单层感知器 3.1.2感知器的功能 3 前馈神经网络 3.1单层感知器 3.1.2感知器的功能 (2)设输入向量X=(x1,x2,x3)T 输出： 则由方程 w1jx1+w2jx2+w3j x3–Tj=0 (3.4) 确定了三维空间上的一个分界平面。 x2 oj x1 x3 -1 3 前馈神经网络 3.1单层感知器 3.1.2感知器的功能 3 前馈神经网络 3.1单层感知器 3.1.2感知器的功能 (3) 设输入向量X=(x1，x2,…，xn)T 则由方程 w1jx1+w2jx2+…+wnj xn–Tj=0 (3.6) 确定了n维空间上的一个分界平面。 输出： sgn(w1jx1+w2jx2+…+wnjxn –Tj) (3.5) 3 前馈神经网络 3.1单层感知器 3.1.2感知器的功能 一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。 例一 用感知器实现逻辑“与”功能。 x1 x2 y 0 0 0 0 1 0 1 0 0 1 1 1 逻辑“与”真值表 感知器结构 w1x1+w2x2 -T=0 0.5x1+0.5x2-0.75=0 例一 用感知器实现逻辑“与”功能。 例二 用感知器实现逻辑“或”功能。 x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 1 逻辑“或”真值表 感知器结构 w1x1+w2x2 -T=0 x1+x2-0.5=0 例二 用感知器实现逻辑“或”功能。 3 前馈神经网络 3.1单层感知