bp 算法分析与改善.pdfVIP

维普资讯 第 l6卷 第 l0期 计 算 机 技 术 与 发展 Vo1．16 No．10 2006年 l0月 COMPUTER TECHNOI．(X；Y AND DEVEI上)PMENT ()ct． 2006 BP算法分析与改进 贾丽会，张修如 (中南大学 信息科学与工程学院，湖南 长沙 410075) 摘 要：在人工神经网络中，BP神经网络是一种应用广泛的多层前馈神经网络。分析 了BP算法的基本原理，指出了BP算 法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源。针对这些缺陷，通过在标准BP算法中引入变步 长法、加动量项法、遗传算法、模拟退火算法等几种方法来优化BP算法。实验结果表明，这些方法有效地提高了BP算法的 收敛性，避免陷入局部最小点。 关键词：BP算法；收敛速度；局部极小点；遗传算法；模拟退火算法 中图分类号 ：TP183 文献标识码 ：A 文章编号：1673—629X(2006)10—0101—03 AnalysisandImprovementsofBP Algorithm JIA Li—hui，ZHA GXiu—ru (CollegeofInformationScience Engineering，CentralSouthUniversity，Changsha410075，China) Abstract：Back—pmp~ationneuralnetworkisanextensivelyappliedmulti—layerfeedforwardneuralnetworkinartificialneuralnetwork． BasicprincipleofBPalgorithm isanalyzedfirstly．Then8omedefectssuchasslow convergenceratena dgettingintolocalminimum inBP algoritmh repointde out，nadtherootofthedefectsispresented．Finally，inviewoftheselimitations，severalmethodssuchasgeneticalgo- ritmh nadsimulatde annealingalgoritmh etc．Rrelde tooptimizeBP algoritmh ．Experimentr~ultsshow thatthesemethodsincreaseeffi． cientlytheconvergenceperformanceofBPalgoritmh nadavoidlocalminimum Keywords：BPalgoritmh ；convergencerate；localminimmu ；geneticalgoritmh ；simulatde annealing O 引 言 阈值为 。于是隐层各神经元的输出为 ： 由于BP(backpropagation)神经网络结构简单、算法 输入层 隐层 输出层 成熟且具有很强的非线性映射能力 ，故它在模式识别、故 障诊断、医学工程等各个领域得到了广泛的应用。虽然理 论上BP网络能逼近任意的非线性函数，但由于BP算法 的误差函数曲面高度复杂，并且按梯度下降法调整权值， 使得网络在学习过程中出现了收敛速度慢、易陷入局部极 小点等缺点 【，，从而限制了BP神经网络的应用。文中 图l 典型的3层 BP神经网络 针对这