几种快速BP算法的比较研究.pdfVIP

吕 俊等 ：几种快速BP算法的比较研究 几种快速BP算法的比较研究 吕 俊 ，张兴 华 (南京工业大学 江苏 南京 210009) 摘 要：对几种快速BP算法的特点及性能作了归纳和对比，并对一个非线性函数逼近实例进行 了仿真研究。结果表 明对于中等规模的前向神经网络来说，Levenberg—Marquardt算法收敛速度最快，而且学习性能最好。 关麓词：神经网络 ；权值学习；快速BP算法；Levenberg—Marqardt算法 中圈分类号：TP301．6 文献标识码：A 文章编号：1004—373X (2003)24-096-04 Study on Comparison of Fast BP Algorithms LV Jun．ZHANG Xinghua (Naniing University of Technology，Naniing，210009，Chi~ ) Abstract：In this paper·the characteristic and performance of various fast BP algorithms are generalized and contrasted through study on simulation of nonlinear function approximation experiment． It is demonstrated Levenberg —Marquardt algorithm S convergence speed is the quickest and its performance is the most excellent for moderate stale feedforward neural network． Keywords：neural network；weights learning；fast BP algorithm；Levenberg—Marqardt algorithm 1 引 言 采用BP算法训练权值的多层前馈网络，是迄今为 止应用最广泛的神经网络，由于其具有很强的非线性 逼近能力以及 自适应 、 自学习能力 ，因此可以处理那 些难以用数学模型描述的系统。理论上已经证明：隐 层采用Sigmoid激励函数的三层前馈网络可以以任意 精度逼近任何连续映射。但是基于误差梯度下降的标 准BP算法对大多数的实际应用而言都太慢了，针对这 些不足，人们已经提出了许多改进标准BP算法的方 案。 快速BP算法的研究主要分成2类。第一类指那些 使用启发式信息技术的BP算法，包括可变的学习速 率，在学习算法中加入动量项等方法。例如Vogl的快 速学习算法[1]，Jacobs的delta—bar-delta算法[2 等，其 实质都是在误差梯度变化缓慢时应增大学习率，变化 剧烈时应减小学习率的基础上提出的。另一类研究是 指加人数值优化技术的BP算法，因为训练前向神经网 络减小均方误差本身就是一个数值优化问题，该类技 术 已 非 常 成 熟，包 括 牛 顿 法[2]、共 轭 梯 度 法、 Levenberg—Marquardt算法L3 等。 本文对几种快速BP算法作了归纳和对比，并对一 收稿日期：2003—08—20 96 个非线性函数逼近的实例进行了仿真研究。结果表明， 这些快速BP算法可有效地改善网络训练的收敛性能， 提高神经网络的学习效率。 2 使用启发式信息技术的 BP算法 2．1 学习速率可变的BP算法 标准BP学习算法中，算法对学习速率的设置非常 敏感。在网络学习的初始阶段，选择较大的学习速率 可使收敛速度明显加快，但在接近误差极小点时，过 大的学习速率将导致权值调整幅度过大而发生振荡或 不收敛。因此在网络训练中仅采用单一的固定不变的 学习速率很难兼顾不同误差变化范围内的收敛情况。 在可变学习速率的算法中，学习速率可以在训练过程 中加以改变，保证学习步长足够大而且稳定，实质上 是梯度法在神经网络训练中的推广。在标准的Bp[43算 法中，权值调整的算式为： F 一 一 口 一 口‘ (f)‘ (f) (1) 1 其中：误差函数E一÷ ( 一o )。；学习速率口为一 ‘ 函 0 定值常数(口最大不能超过 ， 为输入向量 的自 ，I口U x 相关矩阵的最大特征值[s )； (f)为局部梯度； j(f)为 单元的输入信号。 Vogl算法是一种常用的快速学习算法，他是依据 ‘现代电子技术2003年第24期总第167期 优化理论中的进退法提出的，采用了如下变学习率的 方法 ： jf(五+ 1)一 W (五)+ 口△硼 (五+ 1)+ △1 (五) (2) f口(五)一a(k一1)· 一 AE0 1口(五)