试议10级4班实习论文.docVIP

　　试议10级4班实习论文 试议10级4班实习论文 导读：10级4班实习论文 学年论文（本科） 学 院 数学与信息科学学院 专 年 级 10级4班 姓 名 徐玉琳 于正平 马孝慧 李运凤 郭双双 任培培 论文题目 BP神经X络原理与应用 指导教师 冯志敏 成 绩 2014 年 9月 24日 BP神经X络的原理与应用 1.BP神经X络的原理 1.1 BP神经X络的结构 1.1.1 BP神经X络模型是一个三层X络,它的拓扑结构可被划分为:输入层(InputLayer )、输出层(Outp ut Layer ) ,隐含层(Hide Layer )．其中,输入层与输出层具有更重要的意义,因此也可以为两层X络结构(把隐含层划入输入层,或者把隐含层去掉)每层都有许多简单的能够执行并行运算的神经元组成,这些神经元与生物系统中的那些神经元非常类似,但其并行性并没有生物神经元的并行性高． 1.1.2 BP神经X络的特点： 1）X络由多层构成,层与层之间全连接,同一层之间的神经元无连接． 2）BPX络的传递函数必须可微．因此,感知器的传递函数-——二值函数在这里没有用武之地．BPX络一般使用Sigmoid函数或线性函数作为传递函数． 3）采用误差反向传播算法(Back-Propagation Algorithm)进行学习．在BPX络中,数据从输入层隐含层逐层向后传播,训练X络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正X络的连接权值．随着学习的不断进行,最终的误差越来越来小． 1.2 BP神经X络的学习过程 BP神经X络的学习算法实际上就是对误差函数求极小值的算法,它采用的算法是最速下降法,使它对多个样本进行反复的学习训练并通过误差的反向传播来修改连接权系数,它是沿着输出误差函数的负梯度方向对其进行改变的,并且到最后使误差函数收敛于该函数的最小点． 1.3 BPX络的学习算法 BPX络的学习属于有监督学习,需要一组已知目标输出的学习样本集．训练时先使用随机值作为权值,修改权值有不同的规则．标准的BP神经X络沿着误差性能函数梯度的反向修改权值,原理与LMS算法比较类似,属于最速下降法． 1.3.1 拟牛顿算法 牛顿法是一种基于二阶泰勒级数的快速优化算法．其基本方法是 x(k?1)?x(k)?A?1(k)g(k) 式中 A(k)----误差性能函数在当前权值和阀值下的Hessian矩阵（二阶导数）,即 A(k)??2F(x)x?x(k) 牛顿法通常比较梯度法的收敛速度快,但对于前向型神经X络计算Hess 3 4 5 6 7 试议10级4班实习论文 导读：10级4班实习论文ian矩阵是很复杂的,付出的代价也很大． 有一类基于牛顿法的算法不需要二阶导数,此类方法称为拟牛顿法（或正切法）,在算法中的Hessian矩阵用其近似值进行修正,修正值被看成梯度的函数． 1）BFGS 算法在公开发表的研究成果中,你牛顿法应用最为成功得有 Boryden,Fletcher,Goldfard和Shanno修正算法,合称为BFG算法． 该算法虽然收敛所需的步长通常较少,但在每次迭代过程所需要的计算量和存储空间比变梯度算法都要大,对近似Hessian矩阵必须进行存储,其大小为n?n,这里nX络的链接权和阀值的数量．所以对于规模很大的X络用RPROP算法或任何一种梯度算法可能好些；而对于规模较小的X络则用BFGS算法可能更有效． 2）OSS算法 由于BFGS算法在每次迭代时比变梯度算法需要更多的存储空间和计算量,所以对于正切近似法减少其存储量和计算量是必要的．OSS算法试图解决变梯度法和拟牛顿（正切）法之间的矛盾,该算法不必存储全部Hessian矩阵,它假设每一次迭代时与前一次迭代的Hessian矩阵具有一致性,这样做的一个有点是,在新的搜索方向进行计算时不必计算矩阵的逆．该算法每次迭代所需要的存储量和计算量介于梯度算法和完全拟牛顿算法之间． 1.3.2 最速下降BP法 最速下降BP算法的BP神经X络,设k为迭代次数,则每一层权值和阀值的修正按下式进行x(k?1)?x(k)??g(k)式中x(k)—第k次迭代各层之间的连接权向量或阀值向量；g(k)??E(k)—第k次迭代的神经X络输出误差对各权值或阀值?x(k) 的梯度向量．负号表示梯度的反方向,即梯度的最速下降方向；?—学习效率,在训练时是一常数．在MATLAB神经X络