hejianhua神经网络讲义partBP网络.ppt

人工神经网络及其应用第4讲 BP神经网络 何建华 电信系，华中科技大学 2003年2月28日 内容安排 一、内容回顾 二、BP网络 三、网络设计 四、改进BP网络 五、内容小结 一、内容回顾 一、内容回顾 一、内容回顾 二、BP网络 2.1 BP网络简介 2.1 BP网络简介 BP网络主要用于下述方面 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； 数据压缩：减少输出矢量维数以便于传输或存储 具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差 2.2 网络模型 2.2 网络模型 感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。 BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1} BP网络经常使用的是S型的对数或正切激活函数和线性函数 2.2 网络模型 BP网络特点 输入和输出是并行的模拟量 网络的输入输出关系是各层连接的权因子决定，没有固定的算法 权因子通过学习信号调节。学习越多，网络越聪明 隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数 在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数 2.2 网络模型 S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出 对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大 采用S型激活函数可以处理和逼近非线性输入/输出关系 2.3 学习规则 BP算法属于δ算法，是一种监督式的学习算法 主要思想 对于q个输入学习样本：P1,P2,…,Pq，已知与其对应的输出样本为：T1,T2,…,Tq 使网络输出层的误差平方和达到最小 用网络的实际输出A1,A2,…,Aq, 与目标矢量T1,T2,…,Tq之间的误差修改其权值，使Am与期望的Tm,(m＝l,…,q)尽可能接近 2.3 学习规则 BP算法是由两部分组成,信息的正向传递与误差的反向传播 正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态 如果在输出层未得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标 2.3 学习规则 假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T 2.3 学习规则 信息的正向传递 隐含层中第i个神经元的输出 输出层第k个神经元的输出 定义误差函数 2.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 输出层的权值变化 其中 同理可得 2.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 隐含层权值变化 其中 同理可得 2.3 学习规则 对于f1为对数S型激活函数， 对于f2为线性激活函数 2.4 误差反向传播图形解释 误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的一阶导数f2’相乘来求得δki 由于隐含层中没有直接给出目标矢量，所以利用输出层的δki反向传递来求出隐含层权值的变化量Δw2ki。然后计算 同样通过将ei与该层激活函数的一阶导数f1’相乘，而求得δij，以此求出前层权值的变化量Δw1ij 如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek逐层的反推算到第一层为止 2.4 误差反向传播图形解释 2.5 网络训练 训练BP网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求误差平方和 当所训练矢量的误差平方和小于误差目标，训练停止；否则在输出层计算误差变化，且采用反向传播学习规则来调整权值，然后重复此过程 网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果 2.5 网络训练 为了能够较好地掌握BP网络的训练过程，我们用两层网络为例来叙述BP网络的训练步骤 初