D人工神经网络3B.pptVIP

作业 P.69 　　3.14 BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X = [-1, 1, 3]T，期望输出为d = [0.95, 0.05]T。试对单次训练过程进行分析，求出： 解： 4、计算输出层的净输入和输出， 5、计算输出层的误差信号， 作业 P.69 　　3.14 BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X = [-1, 1, 3]T，期望输出为d = [0.95, 0.05]T。试对单次训练过程进行分析，求出： 解： 6、计算隐层的误差信号, 3.2.2.2 BP算法推导 　　网络(输出)误差对各层输出的偏导。 　　对于输出层，利用式(3.12)： 　　对于隐层，利用式(3.13): 可得： （3.20a) 可得: （3.20b) 将以上结果代入式(3.19)，并应用式(3.11)： E=1/2[ (d1-o1)2 + … + (dk-ok)2 + … + (dl-ol)2] o1 … ok … ol = f(net1) = f( w11y1 + … + wj1yj + … + wm1ym) = f(netk) = f( w1ky1 + … + wjkyj +… + wmkym) = f(netl) = f( w1ly1 + … + wjlyj + … + wmlym) 　　将以上结果代入式(3.19)，并应用式(3.11)： （3.21a) 得到： （3.21b) 　　至此两个误差信号的推导已完成。 3.2.2.2 BP算法推导 　　将式(3.21)代回到式(3.18)，得到三层前馈网的BP学习算法权值调整计算公式为： (3.22a) (3.22b) 3.2.2.2 BP算法推导 　　将式(3.21)代回到式(3.18)，得到三层前馈网的BP学习算法权值调整计算公式为： (3.22a) (3.22b) 3.2.2.2 BP算法推导 　　容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定．即：学习率η、本层输出的误差信号δ以及本层输入信号Y(或X)。 　　其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差。 　　而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。 (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … j = 1, 2, …, m (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … j = 1, 2, …, m (3.22a) (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 把计算推广到更多层。 (3.22a) (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 把计算推广到更多层。 (3.22a) (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 把计算推广到更多层。 (3.22a) (3.22b) x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 把计算推广到更多层。 f’(neto) δo W f’(nety) δy 3.2.2.3 BP算法的信号流向 　　BP算法的特点是信号的前向计算和误差的反向传播流向特点，图3.17 BP算法的信号流向。 　　前向过程是：输入信号X从输入层进入后，通过隐层各节点的内星权向量Vj得到该层的输出信号Y；该信号向前输入到输出层，通过其各节点内星权向量Wk得到该层输出O。 　　反向过程是：在输出层期望输出d与实际输出O。相比较得到误差