BP神经网络原理与应用实习论文.docVIP

学年论文（本科） 学 院 数学与信息科学学院 专 业 信息与计算科学专业 年 级 10级4班 姓 名 徐玉琳 于正平 马孝慧 李运凤 郭双双 任培培 论文题目 BP神经网络原理与应用 指导教师 冯志敏 成 绩 2013 年 9月 24日 BP神经网络的原理与应用 1.BP神经网络的原理 1.1 BP神经网络的结构 　1.1.1 BP神经网络模型是一个三层网络,它的拓扑结构可被划分为:输入层(InputLayer )、输出层(Outp ut Layer ) ,隐含层(Hide Layer )．其中,输入层与输出层具有更重要的意义,因此也可以为两层网络结构(把隐含层划入输入层,或者把隐含层去掉)每层都有许多简单的能够执行并行运算的神经元组成,这些神经元与生物系统中的那些神经元非常类似,但其并行性并没有生物神经元的并行性高． 　1.1.2 BP神经网络的特点： 　　1）网络由多层构成,层与层之间全连接,同一层之间的神经元无连接． 　　2）BP网络的传递函数必须可微．因此,感知器的传递函数-——二值函数在这里没有用武之地．BP网络一般使用Sigmoid函数或线性函数作为传递函数． 3）采用误差反向传播算法(Back-Propagation Algorithm)进行学习．在BP网络中,数据从输入层隐含层逐层向后传播,训练网络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正网络的连接权值．随着学习的不断进行,最终的误差越来越来小． 1.2 BP神经网络的学习过程 　BP神经网络的学习算法实际上就是对误差函数求极小值的算法,它采用的算法是最速下降法,使它对多个样本进行反复的学习训练并通过误差的反向传播来修改连接权系数,它是沿着输出误差函数的负梯度方向对其进行改变的,并且到最后使误差函数收敛于该函数的最小点． 1.3 BP网络的学习算法 　BP网络的学习属于有监督学习,需要一组已知目标输出的学习样本集．训练时先使用随机值作为权值,修改权值有不同的规则．标准的BP神经网络沿着误差性能函数梯度的反向修改权值,原理与LMS算法比较类似,属于最速下降法． 1.3.1 拟牛顿算法 牛顿法是一种基于二阶泰勒级数的快速优化算法．其基本方法是 式中 ----误差性能函数在当前权值和阀值下的Hessian矩阵（二阶导数）,即 牛顿法通常比较梯度法的收敛速度快,但对于前向型神经网络计算Hessian矩阵是很复杂的,付出的代价也很大． 有一类基于牛顿法的算法不需要二阶导数,此类方法称为拟牛顿法（或正切法）,在算法中的Hessian矩阵用其近似值进行修正,修正值被看成梯度的函数． BFGS 算法在公开发表的研究成果中,你牛顿法应用最为成功得有Boryden,Fletcher,Goldfard和Shanno修正算法,合称为BFG算法． 该算法虽然收敛所需的步长通常较少,但在每次迭代过程所需要的计算量和存储空间比变梯度算法都要大,对近似Hessian矩阵必须进行存储,其大小为,这里n网络的链接权和阀值的数量．所以对于规模很大的网络用RPROP算法或任何一种梯度算法可能好些；而对于规模较小的网络则用BFGS算法可能更有效． 2）OSS算法 由于BFGS算法在每次迭代时比变梯度算法需要更多的存储空间和计算量,所以对于正切近似法减少其存储量和计算量是必要的．OSS算法试图解决变梯度法和拟牛顿（正切）法之间的矛盾,该算法不必存储全部Hessian矩阵,它假设每一次迭代时与前一次迭代的Hessian矩阵具有一致性,这样做的一个有点是,在新的搜索方向进行计算时不必计算矩阵的逆．该算法每次迭代所需要的存储量和计算量介于梯度算法和完全拟牛顿算法之间． 式中—第k次迭代各层之间的连接权向量或阀值向量；—第k次迭代的神经网络输出误差对各权值或阀值的梯度向量．负号表示梯度的反方向,即梯度的最速下降方向；—学习效率,在训练时是一常数．在MATLAB神经网络工具箱中,其默认值为0.01,可以通过改变训练参数进行设置；—第k次迭代的网络输出的总误差性能函数,在MATLAB神经网络工具箱中BP网络误差性能函数默认值为均方误差MSE,以二层BP网络为例,只有一个输入样本时,有