BP神经网络学习率参数改进方法.pdfVIP

第 29卷第 1期 长春师范学院学报(自然科学版) 201O年 2月 V01．29 No．1 JoumalofChangch~mNormalUniversity(NaturalScience} Felb．2O1O BP神经网络学习率参数改进方法 陈 思 (哈尔滨理工大学 自动化学院，黑龙江哈尔滨 150080) [摘 要]针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因素， 本文提出了一种改进的BP神经网络学习率的优化算法，该策略使网络对误差曲面变化敏感且收敛速 度快。 [关键词】BP神经网络；学习率 [中图分类号]TP183 【文献标识码]A [文章编号】1008—178X(2010)01—0026—03 近几年人工神经网络在模式识别、信号处理、图像处理等领域都有着重要的应用 其中Rumelhan[1】等 提出的误差反向传播算法是训练前馈神经网络强有力的工具．但是传统的训练方法易使网络陷入局部极小 点，而且收敛速度慢也是其主要缺点之一，[]因此对 BP算法的改进是一个重要的研究课题．在前人研究成 果的基础上，笔者提出了一种学习率的优化设计方法，并通过实验验证了该方法的有效性． 1 BP神经网络 BP网络 J是一种多层前馈神经网络，它采用BP算法实现输入空间到输出空间的非线性映射，具有结构 简单、可操作性强等优点，目前已被J_泛应用。BP神经网络模型一般由三层构成 (图1)，对于输人信号先 传播到隐层节点，再把隐层节点的信息传播到输出节点． 输人层 ，有 ，t个节点，隐层 有h个节点，输出层K有 个节点； 表示输入层的第 个节点和隐层 的第 个节点之问的连接权值， f表示隐层的第 个节点和输出层的第k个节点之间的连接权值；d1，d2， ． … ， d 为期望输出；e，e2，…，e 为实际和期望输出值的误差． BP算法的基本思想是：学习过程 由模式正传播和误差逆传播两个过程组成．正向传播时，信号作用于 输入层，经隐层处理后，传向输出层．若输出层没能得到期望值，则转入误差反向传播阶段，将输出误差通 过隐层向输入层逐层返回，从而获得各层的误差信号，作为修改权值的依据．权值不断修改的过程，也就是 网络的学习过程，即对网络的连接权 和 进行调整，使该网络实现给定的输入输出映射关系．此过程一 直进行到网络输出的误差满足可接受的程度或达到预定的学习次数为止． 2 网络收敛速度的改进方法 BP算法是基于误差一修正学习的，学习率的大小对收敛速度和训练结果影响很大．如果学习率太小， 学习速度太慢；如果学习率太大，可能导致振荡或发散．为实现快速而有效的学习收敛过程，文献 [4]提 出了BP网络学习率的优化模型，其学习率的变化公式为： j7=Ae-an ． (1) 其中n为迭代次数，A和 的取值根据实际情况选择，一般情况下，1 A 50，O．0(0)1 曼0．001．虽 【收稿 日期]2009—11—17 [作者简介]陈 思 (1977一)，女，吉林长春人，哈尔滨J~X-3~学自动化学院硕士研究生，从事模式识别研究。 · 26 · 输入层 I 隐层J 输 出层K 误差反传 图1 BP神经网络拓扑结构 然此算法与传统BP算法相比使用了可变的学习速率加快了网络收敛，但也存在着问题．一般情况下，当网 络误差处于下降状态时，该算法难 以适应这一情况，而且收敛速度也比较慢 ． 3 改进的BP网络学习率的优化模型 在BP网络学习率的优化模型中，采用学习率渐小法，即让其随着学习次数的增加而递减．该模型可转 换为 ： 叩()=e一叩(k一1)．