bp神经网络中种逃离局部极小点的方法研究.pdf

摘要 于它是基于最速下降方法，它有收敛速度慢、容易陷入局部极小点等缺点，这限 制了它的应用范围。 ． 本文从标准BP算法容易陷入局部极小点这个问题着手，分析其容易陷入局 部极小点的原因，即网络神经元的转换函数Sigmoid函数存在一个饱和区域，在 此区域中网络节点的输入变化大但是其输出变化极小，甚至变化可以忽略不计， 由此产生了网络的输出对输入的敏感性极小，网络的输出和输入不协调，网络陷 入局部极小点。所以本文提出了一种改进价值函数，使价值函数不仅与输出层的 输出有关还与隐藏层的输出有关，从而加大网络对输入的敏感性，使网络的输出 和输入之间尽可能协调，使其能快速逃离局部极小点，收敛到全局最小点。然后 根据价值函数的性能曲面，对改进的BP算法的各参数(因子)在几种特殊情况 下进行了讨论，并给出了迭代过程中最优参数的计算方法。 在文章的最后对扩展的异或问题进行了仿真实验，用改进BP算法和标准带 动量因子的BP算法与模拟退火算法进行了对比，对比结果表明：标准的BP算 法只能确保收敛到极小点，但不能确定是局部极小点还是全局极小点，改进的 BP算法能确保收敛到全局极小点；改进的BP算法比模拟退火算法的收敛速度 快很多。 因此，这种改进的方法能加快收敛速度并收敛到全局极小点，达到了期望的 效果。 关键词：BP算法，Sigmoid函数，价值函数，饱和区域，不协调，逃离局部 极小点，全局极小点 Abstract _ ●J■ ■ 1 ● ● ● Anewresearcll0n Irom10Calminlmain escaplng Back—Propagationalgorithm isaneuralnetwork used Back—propagationalgorithm learningalgorithmwidely． methodoften Butthe isbasedonthe descent the algorithm steepest method，and a minima limitsits suffersfroma solutionor local scope sub—optimal problem，which of application． with thereasonsof intolocal author Startinganalyzing sinking minima，the the noticesthatasaturationexistforanerrorfunctioninwhich rcgion corresponding in axeunnoticeableoreven withthoseof changesoutputlayer neglected inputlayer， of to andthesevereblockof the losesensitivityinputs