基于FR算法多层前向神经网络仿真研究.docVIP

基于FR算法多层前向神经网络仿真研究 　　摘 要： 概述人工神经网络及其权值调整的方法，主要介绍多层前向神经网络中能较好解决上述问题的二阶算法：共轭梯度算法FR算法，实施算法的仿真，同时对仿真结果进行分析。 　　关键词： 人工神经网络；二阶算法；FR算法 　　中图分类号：TP183 文献标识码：A 文章编号：1671－7597（2011）1120110－01 　　 　　1 人工神经网络概述 　　人工神经网络，亦称为神经网络，通常人们也认为是第六代计算机，简写为ANN（Artificial Neural Networks），它是由大量处理单元（人工神经元）广泛互连而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特征。从本质上来说它是基于模仿生物大脑的结构和功能而构成的一种信息处理系统或计算机。 　　神经网络也经常被称为神经计算机，但它与现代数字计算机的不同之处主要表现在以下方面： 　　1）神经网络的信息存储与处理是合二为一的。 　　2）神经网络以大规模模拟计算为主。 　　3）神经网络具有很强的鲁棒性和容错性。 　　4）神经网络具有很强的自学习能力。 　　神经网络的处理能力来自于神经网络中各神经元之间的连接权。连接权一般不能准确确定，故神经网络应具有学习功能，即能根据样本模式逐渐调整权值，使神经网络具有卓越的处理信息的能力。 　　神经网络的学习方法有两大类：有教师学习和无教师学习。对于有教师学习，神经网络的输出和期望输出进行比较，然后根据两者之间的差的函数（如差的平方和）来调整网络的权值，最终使其函数达到最小。对于无教师学习，当输入的样本模式进入神经网络后，网络按照预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。 　　2 多层前向神经网络 　　根据神经元输入输出传递函数的差异、学习算法和网络结构上的某些区别，可将前向型神经网络分为感知器网络、BP网络、线性网络、径向基网络以及GMDH网络等不同的网络模型。同时，感知器网络又分为单层感知器和多层感知器神经网络。多层感知器是单层感知器的推广，但是它能够解决单层感知器所不能解决的非线性可分问题。 　　BP网络主要用于： 　　1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。 　　2）模式识别：用一个特定的输出向量将它与输入向量联系起来。 　　3）分类：把输入向量以所定义的合适方式进行分类。 　　4）数据压缩：减少输出向量维数以便于传输。 　　BP网络由输入层、隐含层和输出层组成。输入层神经元的个数为输入信号的维数，隐含层个数和隐含节点的个数视具体情况而定，输出层神经元的个数为输出信号的维数。 　　BP网络中每个神经元的激励函数可以是可微的Sigmoid函数，如 　　 　　 　　或 　　 　　下面分别给出以含一个隐含层BP网络的不同的拓扑结构： 　　 　　 　　图1 多层前向网络 　　 　　 　　图2 有反馈的前向网络 　　以上介绍的BP算法属于一阶算法。虽然BP网络得到了广泛应用，但其自身也存在一些缺陷和不足，主要有以下几个方面： 　　1）学习速率固定，导致收敛速度很慢； 　　2）易陷入局部最小值； 　　3）网络存在很大的冗余性； 　　4）网络的学习和记忆具有不稳定性。 　　根据目标函数在极值点附近往往可以用一个二次函数来逼近，则在极值点附近采用二阶算法将有较快的收敛速度。 　　 　　 　　图3 神经网络算法的种类 　　3 FR算法简介 　　BP算法在最快下降方向（负梯度方向）调整权值，在该方向上误差函数下降最快，收敛速度不一定最快，在共轭梯度算法中每次迭代中步长更改的同时，寻找决定步长的变梯度方向，使误差函数在该方向上最小，共轭梯度法亦为二阶算法，和牛顿算法一样，共轭梯度算法在目标函数二次性较强的区域有较好的收敛效果。共轭梯度算法使用共轭梯度向量来确定共轭方向，所以称此算法为共轭梯度算法。1990年J.Leonard和M.A.Kramer将共轭梯度算法和行搜索策略结合在一起，在共轭梯度算法中，沿着共轭方向进行行搜索，收敛速度将比一般的梯度下降法要快的多。在一般训练算法中，是利用学习速率决定权值更新的步长，而在多数共轭梯度算法中权值步长各自反复的调整，沿着共轭梯度用行搜索来决定权值步长以减少在行中的完成功能。共轭梯度算法可以不必计算或存储二阶导数信息就具有二阶方法的功能，它与拟牛顿算法相比，它的计算代价很低，因此在较大规模问题中十分有用。 　　共轭梯度算法有多种方案，这里介绍一下用的比较广泛的FR共轭梯度法。 　　Flecher-Reeves共轭梯度法： 　　所有的共轭梯度算法的搜索方向 是从最陡下降方向 （梯度的负方向）开始搜索 　　 （3）