BP神经网络算法改进及应用.docVIP

BP神经网络算法改进及应用 　　要：文章介绍了目前人工神经网络领域中BP神经网络的特点及其算法原理，以BP网络算法的缺点为出发点，从不同方面对BP算法进行改进，从而加快了网络的收敛速度，优化了网络的拓扑结构，最后对BP网络在实际中的主要应用进行了讨论。 　　关键词：人工神经网络；BP算法；算法改进 　　中图分类号:TP393文献标识码:A1文章编号：1009-3044(2009)04-0933-03 　　BP Neural Network Algorithm Improvement and Application 　　WANG Shuang,ZHANG Ying,LV Rui-xia 　　(China West Normal University Computer College, Nanchong 637002, China) 　　Abstract: The article describes the current artificial neural networks in the field of BP neural network algorithm and its characteristics so as to the shortcomings of the BP network algorithm as the starting point from the different aspects of BP algorithm, so as to speed up the convergence of network and optimize the network topology Structure, the last of the BP network in the main practical applications are discussed. 　　Key words:artificial neural networks; BP algorithm; algorithm improvement 　　1 引言 　　人工神经网络是一种信息处理系统，它有很多种模型。其中有一种用误差传播学习算法（Error Back Propagation即BP算法）进行训练的多层前馈神经网络，简称为BP网络。BP神经网络模型是人工神经网络的重要模型之一，在文字识别、模式分类、文字到声音的转换、图像压缩、决策支持等方面都有广泛的应用。 　　通常，BP算法是通过一些学习规则来调整神经元之间的连接权值，在学习过程中，学习规则以及网络的拓扑结构z不变。然而，一个神经网络的信息处理功能不仅取决于神经元之间的连接强度，而且与网络的拓扑结构(神经元的连接方式)神经元的输入输出特性和神经元的阀值有关。因而，神经网络模型要加强自身的适应和学习能力，应该知道如何合理地自组织网络的拓扑结构，改变神经元的激活特性以及在必要时调整网络的学习参数等。 　　2 BP神经网络的结构及原理 　　BP网络是一种无反馈前向网络，它由一组相互连接的运算单元组成，其中每一个连接都有相对应的权值。网络结构如图1（以三层网络为例）所示，它包括输入层节点、输出层节点，一层或多层隐含层节点。在BP网络中，层与层之间采用全互连方式，同一层的节点之间不存在相互连接。 　　BP算法简单的来说，是把训练样本从输入层输入，通过每个节点对应的阈值、函数以及节点之间连接权值的运算，经过输入层、隐含层传播到输出层得到计算输出，该输出和其对应的期望输出比较，得出误差。如果误差不符合要求，将误差沿输入相反的方向进行传播并沿误差降低方向调节权值和函数的阈值。用多个训练样本对网络进行反复的训练，直至误差符合要求。 　　BP神经网络的算法又称为误差逆传播算法，这个算法的学习过程由正向传播过程与反向传播过程组成。正向传播过程是依据学习样本的输入向量从输入层分隐含层分输出层逐次修改权值矩值认W，两个过程反复交替，直至收敛为止。 　　3 BP算法存在的问题及其改进 　　3.1 BP算法的局限性 　　在实际应用中，BP算法普遍存在以下问题： 　　1) 误差下降缓慢，调整时间长，迭代次数多，影响收敛速度，造成收敛速度慢，若加快收敛速度易产生振荡。 　　2) 存在局部极小问题，但得不到全局最优。训练会因陷入某个局部极小点而不能自拔，使训练难以收敛于给定的误差。 　　3) 隐节点数和初始值的选取缺乏理论指导。 　　4) 泛化能力差。 　　5) 未考虑样本选择对系统学习的影响。 　　3.2 对BP算法的改进 　　BP算法改进方法可以分为两类：一是基于非线性无约束极值理论的算法改进，二是基于新理论的算法改进。 　　3.2.1 基于非线性无约束极值理论的算法改进