第03章 人工神经网络(第02部分bp算法).pptVIP

北京工商大学信息工程学院韩力群制作 神经元的网络输入： neti=y0w0i+y1w1i+y2w2i+…+ymwmi i=1,2,…,l 可用其它的函数作为激活函数，只要该函数处处可导 最速下降法，要求E的极小点 3.5 神经网络应用 第三章 人工神经网络 3、人脸识别 二、BP神经网络训练策略 在BP 网络样本训练过程中，如果采取适当的训练策略能有效地提高系统的识别率。 可以有样本采样训练、样本批量训练和样本完整训练三种策略。 3.5 神经网络应用 第三章 人工神经网络 3、人脸识别 二、BP神经网络训练策略 样本采样训练：对训练集中的样本按间隔进行采样, 并对所得样本独立地进行训练, 直至所有样本训练完为止。 3.5 神经网络应用 第三章 人工神经网络 3、人脸识别 二、BP神经网络训练策略 样本批量训练：指的是取训练集中的一批样本一同进行训练, 训练完之后再取下一批, 直到训练完为止。 3.5 神经网络应用 第三章 人工神经网络 3、人脸识别 二、BP神经网络训练策略 样本完整训练：指的是将训练集中的样本一次性进行训练。 3.6 小结 第三章 人工神经网络 BP 网络是一种前向网络。一般包括输入层、隐层和输出层。 隐层可有一层、二层甚至更多层以便于分析各因素间的相互作用, 每一层由若干个神经元组成, 相邻两层的每一个神经元之间均有权值联系, 权值的大小反映了这两个神经元之间的连接强度, 整个网络的计算过程是由输入层到隐层再到输出层单向进行, 所以称为前向网络。 3.6 小结 第三章 人工神经网络 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 对于输出层： k=1,2,…,l k=1,2,…,l 对于隐层： j=1,2,…,m j=1,2,…,m 第三章 人工神经网络 3.6 小结 输出误差E定义： 将以上误差定义式展开至隐层： 第三章 人工神经网络 3.6 小结 进一步展开至输入层： 第三章 人工神经网络 3.6 小结 j=0,1,2,…,m; k=1,2,…,l i=0,1,2,…,n; j=1,2,…,m 第三章 人工神经网络 对于输出层： 3.6 小结 第三章 人工神经网络 对于隐层： 3.6 小结 两层前馈网的BP学习算法权值调整计算公式为： 第三章 人工神经网络 3.6 小结 学习规则的训练步骤： (1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的节点数）赋予较小的非零随机数； (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)T， dp为期望的输出向量，上标p代表样本对的序号，设样本集中的样本总数为P，则p=1,2,┄,P； 第三章 人工神经网络 (3)计算各节点实际输出 ojp(t)=f[WjT(t)Xp], j=1,2,...,m； 3.6 小结 (4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η[djp-ojp(t)]Xp, j=1, 2,┄,m, 其中η为学习率，用于控制调整速度，太 大会影响训练的稳定性，太小则使训练的收敛速度 变慢，一般取0＜η≤1； (5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。 第三章 人工神经网络 3.6 小结 学习规则的训练步骤： 一、网络误差定义与权值调整思路 输出误差E定义： 将以上误差定义式展开至隐层： 3.4 神经网络算法 3.4.5 BP学习算法 第三章 人工神经网络 进一步展开至输入层： 3.4 神经网络算法 3.4.5 BP学习算法 第三章 人工神经网络 3.4 神经网络算法 3.4.5 BP学习算法 第三章 人工神经网络 j=0,1,2,…,m; k=1,2,…,l i=0,1,2,…,n; j=1,2,…,m 式中负号表示梯度下降，常数η∈(0,1) 称为学习率。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m 3.4 神经网络算法 3.4.5 BP学习算法 第三