自适应BP学习算法研究.pdfVIP

自适应BP学习算法的研究 郭绚石晓虹郑守淇 西安交通大学计算机科学与工程系，西安，710049) 摘要 本文提出了一种通用的自适应神经网络学习模型，并就BP网络设计了一种自适应的 变步长学习算法。实验结果表明该算法不仅明显提高了BP婀络的学习收敛速度．而且在一定程度上避 免r振荡的产生及陷入局部虽小点， 关键词 人工神经网络 自适应学习算法 1 引 言 BP网络是目前应用最为r泛的一种人工神经网络。然而在实际应用中标准BP算法 存在着收敛速度慢．易陷入局部最小点的缺陷。为此，已提出了许多改进方案，如常用 的增加动黾项的方法，自适应变步长学习算法等”1-1“。虽然这些算法在提高BP网络学 习收敛速度方面取得了较女，的效果，倜关键参数的蹬置仍然要部分依靠经验，理论上可 行的方法在实际中却往往无法实现。本文提出了一种通用的基于反馈机制的自适应神经 网络学习模型，它适用r-{T+J类型的神经网络的自适应学习的描述。同时本文基于这种 模型设计了一种BP刚络的变步长算法。实验数据表明，经过改进的BP网络．收敛速 度有了明显的提高，提高幅度均在60倍左右。同时有效地消除了振荡。 2模型的基本思想 将神经网络的自适廊学习方式抽象为圈1所示模型。这种模型适用于任饲神经网络 自适噍学习的描述，其中‘NN’可以是任何类型的神经网络，feedback作为反馈机制接 口，是‘NN’某些特征(参数或结构特征)的引出端口，用户通过feedback就可以完成 对神经网络的间接调整。提出这样一种模型的意义在于：用户可以不必关心神经网络的 实现细节，按照feedback特性的描述，根据自己对神经网络输出的要求设计反馈机制． 完成对神经网络自适应学习的控制。将这种模型具体化，例如，当‘NN’是不含自适 以根据自己的需要通过调整n和。实现对BP的反馈控制。这样BP网络加上反馈机制就 成为一个具有自适应变步长能力的神经网络，而在这一实现过程中，我们不必考虑BP的 实现细节，只关心n和。的特性即可。 ·160· 输出 图I神经网络自适应学习模型 3基于反馈模型的BP网络的改进方法 BP算法是前向神经网络的一种学习算法。通常前向神经网络采用』层2☆构，即输 八层、隐含层、输出层。对于每一个输入样本， 神经网络的实际输出o“与目标输出h 不完全一致。定义 E={∑(t。一o。)2 (I) k 使网络逐渐收敛。墩 BP算法采用6规则，按照误差n减少最快的方向改变连接权值 增量的变化^Wq正比于·an／触目r即 aE △wu—q瓦 (2) 标准的BP算法收敛速度慢，而且易陷入局部最小点。目前普遍被采删的一种改进 方法是增加动量项，如公式(3)所示。 援 Aw。．(k+1)=一刁■：一一十口△w．，(k) (．；) ‘’ 删q 。 这种方法减少了振荡，提高了收敛速度。式中的两个常数n和。分别设称ff学习系数柚 动量项系数。在实际戍用中符往会遇剑n和u的选择问题，末5剐针对q，当q选择得A 小时，收敛速度特别缓慢：n选择得太大时．有可能发生振荡和发敖。尤其凼难的魁j{ 于不问的学习问题，n必须熏新选择，不存住某个㈨定的q。针对这围舴{、文芷}’述 模型的指导n采用变步长的自适应}十经网络学习疗法来改进BP。 改进的t要思路是报据系统误菪随权债变化的‘瞒况实时地列n和。做Ⅲ凋掣，使投 值溢系统误差F降最快的方向变化，尉时