一种快速逃离局部极小点的BP算法.pdfVIP

维普资讯 第28卷 计算机应用 Vo1．28 2008年6月 ComputerApplications June2008 文章编号 ：1001—9081(2008)S1—0025—03 一 种快速逃离局部极小点的BP算法 文冬林，刘小军 (贵州大学 电子科学与信息技术学院，贵阳55o025) (TEACHER—WENDL@126．com) 摘 要 ：针对反向传播 (BP)算法容易陷入局部极小点的问题 ，提出了一种改进价值函数，使其快速收敛到全局最 小点的方法。对扩展的异或问题正弦函数模拟进行 了仿真实验，结果对比表明，改进的BP算法能快速逃离局部极小 点，收敛到全局最小点，达到了期望的效果。 关键词：逃离局部极小点；价值函数；全局最优 中图分类号：TP183 文献标志码 ：A Fasterescapingfrom localminimaforback-propagationalgorithm WENDong—lin．LIUXiao-jun (CollegeofEelctronicScienceandInformationTechnology,GulzhouUnivershy,GtdyangGulzhou550025，China) Abstract：WithhtepurposeofsolvingthelocalminimaofstandardBack—Propagation(BP)algorithm，amodifiederror functionwaspmp~edtoescapefrom thelocal minimanadconvergetotheglobalminima．A modifiedXOR Was used．The resultcontrastindicateshtatthenew back—propagationalgorithm Cna fastescaperfom thelocal minimanad convergetothe ~obalminima，whichisjustwithintheexpectation． Keywords：escaperfom htelocalminima；errorfun ction；global minima 以初始温度足够高且下降足够慢为前提条件，因而收敛速度 0 引言 非常慢。遗传算法由于参数还没有一个定量的标准，大多数 反向传播(BackPropagation，BP)算法是现在用得最多的 都是由实践经验所得，并不可靠，而且不同的编码、不同的遗 一 种神经网络学习算法 ，包括两个部分 ，前馈和反馈。即由输 传技术都会影响到遗传参数的选取，因而会影响到算法的通 入层输入，前向传播，经隐藏层到达输出层，后层没有反向连 用性。在国外，为了加快收敛速度，同时逃离局部极小点，文 接到前层，同层之间没有连接，对层间连接权值矩阵修改方法 献 【3]提出了一个基于外推的算法来加速BP算法。这个需 是计算其从输出层的反馈。 要误差函数表面沿着主要的轴上有一个平滑变化，以使外推 BP算法由于结构简单、计算方便，而且能实现由输入到 才有可能。为了执行外推，在每一个时期的最后，对BP算法 输出的任意的复杂的非线性映射，适合于求解 内部机制复杂 的网络的收敛行为的每个权值进行个别的检查。文献[4]提