5 BP神经网络.pptVIP

BP网络 4.1 BP网络简介 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 4.1 BP网络简介 BP神经网络的特点 非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 4.1 BP网络简介 BP网络主要用于下述方面 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； 数据压缩：减少输出矢量维数以便于传输或存储 4.2 网络模型 4.2 网络模型 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。 BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1} BP网络经常使用的是S函数或双曲正切激活函数和线性函数 4.2 网络模型 权因子通过学习信号调节。学习越多，网络越聪明 隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数 在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数 4.2 网络模型 激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 输出的导数 对于线性激活函数 4.3 学习规则 BP算法是一种监督式的学习算法 主要思想 对于q个输入学习样本：P1,P2,…,Pq，已知与其对应的输出样本为：T1,T2,…,Tq 使网络输出层的误差平方和达到最小 用网络的实际输出A1,A2,…,Aq, 与目标矢量T1,T2,…,Tq之间的误差修改其权值，使Am与期望的Tm,(m＝l,…,q)尽可能接近 4.3 学习规则 核心思想： 将输出误差以某种形式通过隐含层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 4.3 学习规则 BP算法是由两部分组成,信息的正向传递与误差的反向传播 正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态 如果在输出层未得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标 4.3 学习规则 假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T 4.3 学习规则 信息的正向传递 隐含层中第i个神经元的输出 输出层第k个神经元的输出 定义误差函数 4.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 输出层的权值变化 其中 同理可得 4.3 学习规则 隐含层权值变化 其中 同理可得 4.4 误差反向传播图形解释 误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的一阶导数f2’相乘来求得δki 由于隐含层中没有直接给出目标矢量，所以利用输出层的δki反向传递来求出隐含层权值的变化量Δw2ki。然后计算 同样通过将ei与该层激活函数的一阶导数f1’相乘，而求得δij，以此求出前层权值的变化量Δw1ij 如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek逐层的反推算到第一层为止 4.4 误差反向传播图形解释 BP算法直观解释 情况一直观表达 当误差对权值的偏导数大于零时，权值 调整量为负，权值向减少方向调整， 使得实际输出与期望 输出的差减少。 BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，权值向增大方向 调整，使得实际输出与期 望输出的差减少。 4.5 网络训练 训练BP网络，需要计算网络加权输