一种快速收敛的改进BP算法的研究.pdfVIP

维普资讯 第25卷 第6期 计 算 机 仿 真 2008年6月 文章编号：1006—9348(2008)06—0161—03 一 种快速收敛的改进 BP算法的研究 王根达，刘贺平，王允建 (北京科技大学信息工程学院，北京 100083) 摘要：在分析普通BP算法的基础上提出了一种改进的BP算法 (MBP)，用以克服普通BP算法收敛速度慢、易陷入局部最小 点的缺点。算法的核心是改变 Sigmoid函数的微分表达式，加入幂因子s和R，用以提高网络输出误差项在整个 目标函数中 的相对影响。收敛性分析表明，MBP算法保持了普通BP算法的梯度下降特性，但具有更快收敛速度和更好的收敛精度，并 且可跳出局部最小点。通过对一个非线性系统的模型辨识仿真实验，直观上证明了该算法的有效性和可行性。 关键词：神经网络 ；均方误差；梯度下降；快速收敛 中图分类号 ：TP183 文献标识码 ：A A M agnifiedBPAlgorithm withFastConvergence WANGGen—da，UUHe—ping，WANGYun—jian (SchoolofInformationEngineering，UniversityofScienTechBeijing，Beijing100083，China) ABSTRACT：AMagnifiedBPalgorithm (MBP)wasproposedonthebasisofanalyzingtheoriginalback—propaga- tionneuralnetworkalgorithm，whichhaslowerconvergencespeedandishardtoescapefrom localminima．Thechief ideaofthenew algorithm Was tomodifytheSigmoidfunctionbyaddingtwopowerfactors SandRSOthattherelative effectofnewtork’Soutputerrorontheobjectivefunctionwouldbeenhanced．ItCna beseenfromtheconvergencea- nalysisthatthenewalgorithmretainsthegradientdescentpropertyofnomralback——propagationbutgivesfastercon-· vergenceandCna escapefrom localminima．Th esimulationresultillustratesthevalidityandfeasibilityofthenewal- gorithm byidentifyinganon—linera system． KEYWORDS：Neural newtork；Squarederror；Gradientdescent；Fastconvergence 1 引言 2 BP算法简介 BP神经网络算法因其简单易行、计算量小、并行性强等 基本的BP神经网络结构如图1所示。以单隐含层为例 优点，目前是神经网络训练中采用最多的也是最为成熟的训 来分析其学习过程。在图1中，[。，xp2… … ]表示网络 练算法之一…。但是在训练过程中BP网络也存在着若干问 的输入，[Opt， …Opm…OpM]表示网络实际输出； 表示第 k 题，其一是学习算法的收敛速度很慢 ；其二是易陷入局部