BP神经网络学习率的优化方法.pdfVIP

第29卷第2期 长春师范学院学报(自然科学版) 2010年 4月 V01．29 No．2 JoumalofClumgchunNormalUniversity{NaturalScience} Apt．2010 BP神经网络学习率的优化方法 高 红 (长春师范学院传媒科学学院，吉林长春 130032) 摘【 要]本文针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因 素，提出了一种改进的BP神经网络学习率的优化算法，该策略使网络对误差曲面变化敏感且收敛速度 快。 [关键词]学习率；BP；神经网络 [中图分类号】TP183 [文献标识码】A [文章编号]1008—178x(201O)02—0029—03 BP神经网络即误差反向传播神经网络(ErrorBackPropagationNeuralNetwork)是基于BP算法的多层前馈神 经网络，它是D．E．R1蚰eman【1]和J．L．McCelland及其研究小组在 1986年研究并设计出来的，近几年在模式识 别、信号处理、图像处理、预测、系统辩识等很多领域都有重要的应用。但是传统的BP训练方法易使网络陷入 局部极小点，而且收敛速度慢也是其主要缺点之一[引，因此对BP算法的改进是一个重要的研究课题。在前人 研究成果的基础上，笔者提出了一种学习率的优化设计方法，并通过实验分析阐明了该方法的有效性。 1 BP神经网络 BP网络是一种多层前馈神经网络，它采用BP算法实现输入空间到输出空间的非线性映射，具有结构简 单、可操作性强等优点，目前已被广泛应用。BP神经网络模型一般由输入层、中间层、输出层构成(图1)，算法 的执行步骤如下：3【】 1)对权系数 置初值。对各层的权系数 置一个较小的非零随机数，但其中 +l=一0． (1．1) ． 2)输入一个样本X=(Xl，X2，…， )，以及对应的期望输出Y=(yl，y2，…， )。 3)计算各层的输出。对于第 后层第i个神经元的输出 ，有 U}==n+lyr．～ ． ∑ _。． (1．2) 一 一 1 1 砖 1=1． (1．3)