基于模糊控制BP算法.docVIP

基于模糊控制BP算法 　　摘要：本文首先从数学上分析了BP算法的优化机制，同时指出了梯度算法的一些缺陷及改进之处，尤其是在训练速度和学习速率方面的改进比较有效。然后介绍了模糊联想记忆系统产生原由，及其结构和隶属函数的基本概念。最后讨论了一种基于模糊控制的BP算法，尝试把模糊联想记忆系统引入到学习率与动量因子的动态调节中，为模糊逻辑控制引入学习机制。 　　关键词：BP算法；模糊联想记忆系统；神经网络 　　中图分类号：TP183 文献标识码：A 文章编号：1007-9599 (2012) 11-0000-02 　　模糊系统、神经网络以及二者相结合的神经模糊控制技术是近年来智能信息处理与智能控制的主要研究方向。神经网络和模糊集理论都是介于传统的符号推理和传统控制理论的数值计算之间的方法。神经网络本质上是一个非线性动力学习系统，但是它并不依赖于模型。因此，神经网络可以看成是一种介乎于逻辑推???与数值计算之间的工具和方法。模糊理论实际上是基于数值计算的方法而不是符号的方法。这两种方法各有长处和短处。 　　一、标准BP算法 　　人工神经元网络的研究已有半个世纪的历史，它用大量的简单神经元广泛互连成一种计算结构，属于自适应非线性动力学习系统，它具有学习、记忆、计算和各种智能处理功能。使其在模式信息处理和模式识别、最优化、复杂控制、信号处理方面的应用广泛。从数学上看，BP算法可归结为一非线性梯度优化问题。BP算法的多层前馈型网络结构如图1所示。 　　这种网络不仅有输入层结点，输出层结点，而且有一层或多层隐含结点。BP算法的主要思想是把学习过程分为两个阶段：第一阶段（正向传播过程），给出输入信息，通过输入层经隐含层逐层处理并计算每个单元的实际输出值；第二阶段（反向传播过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值，具体些说，就是可对每一个权重计算出接收单元的误差值与发送单元的激活值的积。因为这个积和误差对权重的（负）微商成正比（又称梯度下降算法），把它称做权重误差微商。BP算法的缺陷及改进： 　　（一）BP算法有很多全局最小的解，还存在不少局部即小值，在某些初值的条件下，算法的结果会陷入局部最小。由于这种特点，造成网络完全不能得到训练。除此之外，还有初始随机加权的大小，对局部最小的影响很大。如果这些加权太大，一开始就可能使网络处于S型函数的饱和区，则系统有可能陷入局部最小（或非平坦区）。为防止这种现象，选取随机加权值时，使结点的输入加权和的绝对值小于1，但又不能太小。一般来说，希望初始权在输入累加时，使每个神经元的状态值接近于零，这样可保证在一开始时不会落到那些平坦区上。在权取随机数时，要求权的值比较小，这样可保证每个神经元在一开始都在它们激活函数变化最大的地方进行。（二）阶距大小的选择，直接影响训练时间，严重时，完全不能训练。这是因为1986年Rumelhart等人在证明BP训练算法收敛中，假设了无限小的加权调节阶距。实际上这是不可能的，因为这表示需要无限的训练时间。所以，实际上必须选一个有限的阶距大小，即η的取值取0.01—1。一般来说要根据实验或经验来确定，还没有一个理论指导。若η选得太小，收敛可能很慢；若η选得太大，可能出现麻痹现象。通常为了避免这种现象，减小η，但是却又增加了训练时间。根据学习过程的速率η越大，权重改变就越大的特点，选择的出发点就是它的值尽可能大但又不至于引起振荡，这样可以缩短训练所需要的时间。（三）BP学习算法的收敛速度很慢。网络的隐含结点个数的选取尚缺少统一而完整的理论指导。隐含单元数与问题的要求、输入输出单元的多少都有直接的关系。 　　目前在解决上述问题的主要方法是提高训练速度的方法，包括全局学习速率的自适应，局部学习速率的自适应等详见。本文通过抽取改善BP算法性能的启发式知识，形成模糊控制规则，然后借助于模糊推理系统来对学习率和动量因子等参数进行模糊控制，来动态调整学习率和动量因子等参数来达到更好的效果。 　　二、模糊联想记忆系统 　　模糊控制是一种对系统控制的宏观方法，其核心是用语言描述的控制规则。模糊控制的最大特征是将专家的控制经验、知识表示成语言控制规则，然后用这些规则去控制系统。然而模糊控制在应用过程中往往会出现一些问题：建立和寻找正确的模糊规则隶属函数是非常困难的，往往需要大量试验、调试工作，给设计带来许多麻烦。控制规则隶属函数一旦确定后，自学习能力差，这对于参数不确定系统，控制效果不能令人满足。而神经网络具有强大的非线性映射能力，借助于它的自学习功能，能很好地对输入/输出信息进行处理。把模糊系统与人工神经网络结合起来，形成模糊联想记忆（FAM）系统。FAM系统建立于n维模糊输入子空间到m维模糊输出子空间的映射，每一条FAM规则