第三讲-BPnn.pptVIP

1. 对给定样本p，计算各单元的净输入，求出输出值。（前向计算） BP算法程序框图（批处理学习） 第一个训练期 模式P00： 1. 计算净输入与该单元输出 模式P01：依次计算 模式P10： 模式P11： 对模式P00测试： a00=0, a01=0 3.6 BP网络的应用 模式识别、分类：用于语音、文字、图象的识别，用于医学图象的分类、诊断等。 函数逼近与系统建模：用于非线性系统的建模，拟合非线性控制曲线，机器人的轨迹控制，金融预测等。 数据压缩：减少输出矢量维数以便于传输或存储。在通信中的编码压缩和恢复，图象数据的压缩和存储及图象特征的抽取等。 选择34个特征，即输入单元个数为34。输出可取10个单元，即1个输出单元对应一个数字（该单元输出为1，其它为0）。如果选取200个人所写的1000个样本进行学习，使用三层BP网络。隐含层单元数为14。 通过对1000个样本的学习所得到的网络对6000个手写数字的正确识别率达到95%。 3.7 使用BP算法时应注意的几个问题 （1）学习速率?的选择非常重要。 （6）隐含层单元数的确定 过多的隐含层数和隐单元数目所带来的过量连接权数目，将使网络的泛化（Generalization）能力(除样本点外的其它点的准确性)变差。下图为由于次数高而形成过拟合（Overfitted）现象。 （1）隐含层单元数过少，无法产生足够的连接权组合数来满足若干样本的学习；隐含层单元过多，则学习后的网络的泛化能力变差； （2）如果要求逼近的样函数变化剧烈、波动很大，则要求可调整的连接权数多，从而隐含层单元数也应当多一些； （3）规定的逼近精度高，则隐单元数应多些； （4）开始时放入较少的隐含层单元，学习一定次数后如未学习成功，再逐步增加隐单元数。也可以先加足够多的隐单元，而后把学习中不太起作用的连接权和隐单元删去。 3.3 BP算法计算举例 XOR问题 单元2： 单元3： 单元4： 3. 计算δ项 4. 计算pss、tss 2. 计算误差 5. 计算 ，其中ε取0.5 第二个训练期 … … … 经过289个训练周期，tss=0.03980.04 ecrit=0.04 修改权值和偏置值 BP算法的主要优点 ·只要有足够多的隐层和隐节点，BP网络可以逼近任意的非线性映射关系； ·BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力。 主要缺点 ·收敛速度慢； ·局部极值； ·难以确定隐层和隐节点的个数。 3.4 BP网络学习算法的改进 该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。 (1) 引入动量项 D(k)=-?E/?w(k)为k时刻的负梯度。?为学习率，?0。?为动量项因子，0??1。 相应的Matlab训练函数为traingdm（） 当性能向目标减小时： (2) 变步长法 ?选得太小，收敛太慢，选得太大，则有可能修正过头，导致振荡甚至发散。为此提出了变步长算法 当性能增大超过某值时： 需要引入动量项时，变步长学习算法修改为 (3) 引入动量项和变步长的学习方法 相应的Matlab训练函数为traingdx（） 相应的Matlab训练函数为traingda（） (2) 变步长法 1. 双曲正切对称（S型）传输函数tansig( ) 3. 线性传输函数purelin( ) 4. Tansig神经元的求导函数dtansig ( ) 5. 线性(Purelin) 神经元的求导函数dpurelin( ) 7. 学习函数learngd( ) （gradient descent） 2. S型（Sigmoid）传输函数logsig( ) 6. Logsig神经元的求导函数dlogsig( ) 3.5 BP算法的Matlab函数 8. 含动量项的学习函数learngdm( ) momentum 13. Levenberg-Marguardt训练函数trainlm( ) 9. traingd( ) 12. traingdx( ) 10. traingdm( ) 11. traingda( ) 14. 创建BP网络newff( ) 15. train ( ) 16. init ( ) 17. sim( ) 由于手写数字变化很大，由传统的统计模式识别或句法识别很难得到高的识别率，BP网络可通过对样本的学习得到较高的学习率。 例 手写数字的识别 例 手