一种基于并行策略的BP改进算法.pdfVIP

维普资讯 第 18卷．第 10期 计 算 机 技 术 与发 展 VO1．18 No．10 2008年 10月 O0jⅥP1I『 RTEa刑 oU)GYANDDEⅦ U)I伍 NT Oct． 2008 一 种基于并行策略的BP改进算法 郭彦伟，王洪国，王 鑫，于 惠 (山东师范大学信息科学与工程学院，山东济南 250014) 摘 要：介绍了BP神经网络的基本结构及原理，分析了其收敛慢的原因。为加快其收敛速度，结合带动量梯度下降法提 出一种新的算法(PBBP)，用多个学习速率不同但结构相同的网络进行并行训练 ，在每次迭代后都根据误差找出处于最佳 状态的网络，并使其它网络的训练参数作适当变化再进行下一次迭代，直到整个网络的误差减小到允许范围内或达到训 练次数要求，加快了其收敛速度，能够很好地脱离平坦区。通过在Matlab里编程进行仿真实验证明，该算法是可行的。 关键词：神经网络；BP算法；并行 中图分类号：1]P301．6 文献标识码 ：A 文章编号 ：1673—629X(2008)10—0110—03 AnImprovedBP Algorithm Basedon Parallel GUOYan-wei，WANG Hong-guo，WANG Xin，YU Hui (SchoolofInformationScienceandEngineering，Shandong NormalUniversity，Jinan250014，China) Abstract：Analysedwhythe~ entum BPalgorithm isslow inconvergence。describesanew methodfortheimprovementofBPalgo- ritmh ，namedPBBP(parallelbasedBPalgoritmh )．Amethodusingmanynetworkswhicharedifferentinlearning spede totrainbyparal· le1．Thne speeduplearning processandgetoutoffiatarea．Thesimulationexperimentsbyp1Dg nginMathbshow thattheimprovde algorithm isfeasible． Keywords：neuralnetwork；BPalgoritmh ；paralld 0 引 言 1 BP算法 BP算法[．2]是 目前 比较流行的神经网络学习算 1．1 算法思想 法，是一种典型的误差修正方法，其实质是求均方误差 BP神经网络由输入层、输出层以及处于输入输出 的最小值问题。虽然理论上BP网络能逼近任意的非 层之间的隐含层组成。隐含层又包括单层或多层。对 线性函数，但由于BP算法的误差函数曲面高度复杂， L(L3)层网络，有 L一2个隐含层。设第 五(k1) 并且按梯度下降法调整权值，训练参数在整个训练过 层的第 个神经元的输入总和为霉，输出为 ，k一1 程中无法根据误差的变化进行相应调整，使得网络在 层的第 i个神经元与k层的第 个神经元的权连接为 学习过程中出现了迭代次数多、收敛速度慢等缺陷。 W ij-lk 针对这些不足，很多的研究者从各个不同的角度出发 , 神经元的输出函数为：，()南 ，则： 对BP算法作了大量的改进研究[3，引，并且取得了很大 = ∑咛 1,kO~／