模式识别 第11章 人工神经网络以及在模式识别中应用.ppt

例题： 反向传播算法（BP）小结 基本思想： 是从后向前（反向）逐层传播输出层的误差，以间接算出隐层误差。 算法分为两个阶段： 第一阶段：正向过程，输入信息从输入层到隐层逐层计算各单元的输出值。 第二阶段：反向传播过程，输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。 径向基函数网络定义： * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi 例. 单计算节点感知器有3个 输入,现给定3对训练样本: X1=[-1 1 -2 0]T d1=-1; X2=[-1 0 1.5 -0.5]T d2=-1; X3=[-1 -1 1 0.5]T d3=1. 设初始权向量 W(0)=[0.5 1 -1 0]T η=0.1 解:第一步,输入X1 WT(0)X1= [0.5 1 -1 0][-1 1 -2 0]T=2.5 Y1(0)=sgn(2.5)=1 W(1)=W(0)+ η[d1-y1]X1= [0.5 1 -1 0]T +0.1(-1-1) [-1 1 -2 0]T =[0.7 0.8 -0.6 0]T 第二步,输入X2 WT(1)X2= [0.7 0.8 -0.6 0] [-1 0 1.5 -0.5]T =-1.6 Y2(1)=sgn(-1.6)=-1 W(2)=W(1)+ η[d2-y2(1)]X2 =[0.7 0.8 -0.6 0]T +0.1[-1-(-1)] [-1 0 1.5 -0.5]T =[0.7 0.8 -0.6 0]T 第三步,输入X3 WT(2)X3= [0.7 0.8 -0.6 0] [-1 -1 1 0.5]T =-2.1 Y3(2)=sgn(-2.1)=-1 W(3)=W(2)+ η[d3-y3(2)]X3 =[0.5 0.6 -0.4 0.1]T 第四步,返回到第一步,继续训练,直到dp-yp=0 p=1,2,3 11.5 前馈神经网络的反向传播算法 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 11.5.1 反向传播算法的难点与基本思路 多层前馈网的中间隐层不直接与外界连接，其误差无法估计。 算法难点： （1）从输入层经隐层逐层“前向”计算各单元的输出； 算法的两个阶段： … … … … … （2）由输出误差逐层“反向”计算隐层各单元的误差，并用此误差修正前层的权值。 （输入层） （隐层） （输出层） 前向 反向 11.5.2 反向传播算法的计算步骤 … … … … … （输入层） （隐层） （输出层） （1）网络参数的初始值选择； （2）前向计算：求出所有神经元的输出 （3）反向计