人工神经网络BP算法分析——固定学习率 的弊端及改进方案.docVIP

BP算法中固定学习率的性能分析 彭清娥 曹叔尤 刘兴年 黄尔 李昌志 （四川大学高速水力学国家重点实验室 成都 610065） 摘 要 人工神经网络BP算法中学习率取得过大，将导致网络不收敛，取得过小将会使迭代收敛速度极慢。本文对这一现象的内在原因进行了深入探讨，并提出两种有效的解决方案：一、先取小值，随后取较大值，末尾取小值；二、改进传递函数。 关键词 BP算法 学习速率 传递函数 1 BP网络模型及学习率选取的困难 人工神经网络理论是80年代中后期迅速发展起来的一项前沿研究领域，其应用已渗透到各个领域。BP神经网络模型是人工神经网络的重要模型之一，应用尤为广泛。尽管BP网络模型发展逐步成熟，但仍然存在许多问题，在理论上需要完善。 BP算法主要包括两个过程，一是由学习样本、网络权值从输入层→隐含层→输出层逐次算出各层节点的输出；二是反过来由计算输出与实际输出偏差构出的误差函数E（），用梯度下降法调节网络权值，即 使误差减小。 设输入层节点数为n ,隐含层节点数为r，输出层节点数为m，隐含层与输入层之间的权值矩阵为W=()，隐含层节点阀值为，输出层与隐含层之间权值矩阵为V=()，输出层节点阀值为，并设有N个学习样本（Xp Yp）（P=1，2，3……N）其中为第P个学习样本的输入向量，为其实际输出向量。其中i=1,2…n ，j=1,2…r, k=1,2…m,下文中如不指明则相同。 1.1 计算各层节点输出 输入层节点，取其输出与输入相同，即= 隐含层节点输入，输出分别为： * 国家自然科学基金委及水利部联合资助资助 =- 若令则有：=,. 输出层节点输入，输出分别为： 若令,则有: . 1.2 修正权值 设 . 其中为第p个学习样本产生的输出误差，为总误差。 由误差函数调整权值有： 其中 其中 其中为学习速率，一般在[0，1]内取值。 权值修正为： 我们从成都经济信息中心搜集了从1983.1到1997.9成都市社会消费品零售总额的时间序列数据进行建模，网络模型采用输入层节点数n=7,隐含层节点数r=7，输出层节点数m=1的三层BP网络。在学习速率的选取上，出现了迭代的困难。 对于BP算法学习速率的选取标准，还无理论依据可循，一些研究者凭经验认为取0~1之间较合适。我们随机取=0.4进行计算结果发现其误差函数值从迭代第一步起就无法下降，因此，我们分别取0.1、0.20.9进行计算实验，分别取上述系列值时的迭代误差情况见表1。从表1可看出，当=0.1时，迭代尚能进行，但速度较慢，当=0.2时，其误差函数值从第一次迭代起下降极慢，当≥0.3时，其误差函数值从第一次迭代起完全不下降。且各组值都很相近。针对这一现象，本文深入探讨了其内在原因，并提出二种切实可行的解决方案。 表1 不同取值迭代误差 次数 0．1 0．2 0．3 0．4 0．5 0．6 0．7 0．8 0．9 0 0.44452 0.565364 0.491591 0.524487 0.305468 0.470635 0.237712 0.325591 0.224349 100 0.061112 0.115038 0.115052 0.115053 0.115053 0.115053 0.115053 0.115053 0.115053 200 0.034091 0.115037 0.115052 0.115053 0.115053 0.115053 0.115053 0.115053 0.115053 300 0.016711 0.115037 0.115052 0.115053 0.115053 0.115053 0.115053 0.115053 0.115053 400 0.014771 0.115036 0.115052 0.115053 0.115053 0.115053 0.115053 0.115053 0.115053 500 0.014319 0.115036 0.115052 0.115053 0.115053 0.115053 0.115053 0.115053 0.115053 600 0.014006 0.115035 0.115052 0.115053 0.115053 0.11