神经网络的Levenberg-Marquardt算法研究.doc

神经网络的Levenberg-Marquardt算法研究PAGE PAGE 5神经网络的Levenberg-Marquardt算法研究摘 要：本文主要介绍LM(Levenberg-Marquardt)神经网络算法，LM算法是梯度下降法和高斯—牛顿法的结合，这种神经网络算法综合了这两种方法的优点，在一定程度上克服了基本的BP网络收敛速度慢和容易陷入局部最小点等问题。对LM算法的计算步骤作了简要的阐述。最后介绍了LM神经网络算法再监督控制上的应用。关键词：神经网络；LM算法；计算步骤；监督控制0 引言神经网络BP学习算法在理论上具有逼近任意非线性连续映射的能力，在非线性系统的建模及控制领域里有着广泛的应用。然而BP 算法存在一些不足，主要是收敛速度很慢；往往收敛于局部极小点；数值稳定性差，学习率、动量项系数和初始权值等参数难以调整，非线性神经网络学习算法LM可以有效地克服BP算法所存在的这些缺陷[1]。LM算法是高斯—牛顿法和最速下降法的结合，具有高斯—牛顿法的局部收敛性和梯度下降法的全局特性。它通过自适应调整阻尼因子来达到收敛特性，具有更高的迭代收敛速度，在很多非线性优化问题中得到了稳定可靠解。在LM算法的计算过程中，初值是一个很重要的因素。若选择的初值X0接近真值时，收敛速度很快且能够得到全局最优解，但如果初值远离真解时，优化结果往往过早的陷入局部最优解从而得到的结果完全背离真解。要解决该问题，一是通过得到大量的原始信息来对真值有一个较准确的估计，但这在实际问题中往往不太可能达到；另外就是选择一种合理的全局最优化算法与其相结合，消除LM算法对初值的依赖且具有很快的收敛速度[2]。1 神经网络 神经网络具有高度的自学习、自组织和自适应能力，能通过学习和训练获取网络的权值和结构。多层前向神经网络具有理论上可逼近任意非线性连续映射的能力，因而非常适合于非线性系统的建模及控制，是目前使用较多的一种神经网络模型[3]。BP网络(Back Propagation Network)称为误差反向传播神经网络，它是一种能朝着满足给定的输入/输出关系方向进行自组织的神经网络，其典型的结构图如图1所示，由三部分组成：输入层、隐含层、输出层，三部分之间通过各层节点之间的连接权依次前向连接。目前，在人工神经网络的实际应用中，绝大部分的神经网络模型是采用BP网络和它的变化形式，它也是前馈型网络的核心部分，并体现了人工神经网络最精华的部分。BP网络主要应用于函数逼近、模式识别、分类以及数据压缩中。BP网络用于函数逼近就是用输入矢量和相应的输出矢量训练一个网络逼近一个函数，即可实现从输入到输出的任意的非线性映射。在确定了BP网络的结构后，利用输入/输出样本集进行学习训练，也就是对网络的权值和偏差进行学习和调整，使网络实现给定的输入/输出映射关系，完成对系统的辨识。经过训练的BP网络，对于不是训练样本集中的输入也能给出合适的输出，这种性质就是所谓的泛化能力。在实际应用中，原始的BP算法很难胜任，存在许多不足之处，主要是训练时间长，收敛速度很慢，往往收敛于局部极小点，其数值稳定性差，初始权值、学习率和动量项系数等参数难以调整[4]。图1 BP网络模型结构2 LM算法原理原始的BP学习算法是梯度下降法。参数沿着与误差梯度相反的方向移动，使误差函数减小，直到取得极小值，它的计算的复杂度主要是由计算偏导数引起的。但是，这种基于梯度下降方法的线性收敛速度很慢。而LM算法是一种利用标准的数值优化技术的快速算法，它是梯度下降法与高斯—牛顿法的结合，也可以称为是高斯—牛顿法的改进形式，既有高斯—牛顿法的局部收敛性，又具有梯度法的全局特性。由于LM算法利用了近似的二阶导数信息，所以LM算法比梯度法快得多[5]。下面对LM算法作简要阐述：设误差指标函数为 （1）式中：—期望的网络输出向量；—实际的网络输出向量；P—样本数目；w—网络权值和阈值所组成的向量；—误差。设表示第k次迭代的权值和阈值所组成的向量，新的权值和阈值所组成的向量为。在LM方法中，权值增量计算公式如下： （2）式中：I—单位矩阵；—用户定义的学习率；—Jacobian矩阵，即：从(2)式可看出，如果比例系数=0，则为高斯—牛顿法；如果取值很大，则LM算法接近梯度下降法，每迭代成功一步，则减小一些，这样在接近误差目标的时候，逐渐与高斯—牛顿法相似。高斯—牛顿法在接近误差的最小值的时候，计算速度更快，精度也更高。由于LM算法利用了近似的二阶导数信息，它比梯度下降法快得多，实践证明，采用LM算法可以较原来的梯度下降法提高速度几十甚至上百倍。另外由于是正定的，所以(2)式的