利用混合遗传算法提高小波神经网络收敛速度的研讨.pdfVIP

利用混合遗传算法提高小波神经网络 收敛速度的研究 李金屏①牛业亭⑦ 卢刚① (①济南大学信息科学与工程学院，②济南大学审计处。③济南军区空军94534部队。 山东济南，250022。lijp@ise．ujn．edu．cn，IUp_2001@,sina．com) 摘要在先行研究工作一一利用局部搜索算法提高BP小波神经网络收敛速度的基础上，为 了进一步增强小波神经网络的全局性搜索能力，讨论了小波神经网络BP局部搜索算 法与全局性搜索算法一一遗传算法相结合的方法，从而增强了小波神经网络的全局 性搜索能力．最后，讨论了遗,f专--BP算法在小波神经网络压缩一维数据中的应角． 关键词混合遗传算法，局部搜索算法，小波神经网络 1引言 小波分析与神经网络的结合主要有两种方式：辅助式和嵌套式【lJ。前者比较典型的是利用 小波分析对信号进行预处理，比如特征提取，然后用神经网络进行学习和识别。后者是基于 小波变换理论，用非线性小波基hCP，0取代通常的神经元非线性激励函数，构成了所谓的小 Q和焦李成等人肛圳。 波神经网络。这方面的早期工作大约开始于1992年，主要研究者是Zhang 由于小波分析和神经网络的固有特点，小波神经网络在信号表示、非线性逼近、特征提 取、模式识别、信号分类、数据压缩等方面有着广泛的应用l¨l。作为广泛使用的训练算法之 一，BP算法具有收敛速度慢、易于陷入局部最优的缺点。在小波神经网络的训练中，人们应 用了许多有效的改进算法，如随机梯度法12I、共轭梯度法【4J、变尺度BFGS校正法p．9J等，其 中许多算法虽然收敛速度快，但是易于陷入局部最优点。调研还发现，将一些全局性搜索算 结合应用到小波神经网络中的研究并不多见。 在利用小波神经网络进行一维数据拟和的研究中，针对BP算法在训练小波神经网络中的 主要缺点，我们提出了多种改进方法【孓61，包括：1．自动优化初始网络参数，对信号进行标度 变换；2．适当改进常用的自适应方法调节学习率(即步长)方法：3．利用差值逐步逼近技 术对原始数据进行多次压缩；4．为了尽可能提高压缩比，在保证相对误差不变的情况下，还 讨论了变结构的小波神经网络，从而自动删去贡献小的隐层神经元。仿真计算表明，在满足 相对误差小于给定值的情况下，这些改进方法能够获得较快的收敛速度和较高的压缩比。 先行工作没有考虑到全局性搜索算法，仅仅是多次性产生小波神经网络的初始参数，通 过优中选优从而在一定程度上实现全局性搜索的目的。因此，为了提高全局性搜索能力，需 要将局部搜索算法与全局性搜索算法相结合。本文将在先行工作基础之上讨论遗传算法和局 701 部搜索算法的结合来训练小波神经网络。 其余部分安排如下：第2节介绍全局性搜索算法和遗传算法：第3节介绍混合遗传算法 即遗传算法与梯度下降算法的结合，第4节给出仿真结果和讨论，第5节给出结论。 2全局性搜索算法和遗传算法 从数学角度看，优化理论研究如何在状态空间中搜索到全局最优点。’利用局部搜索算法 如梯度下降法、贪婪法等搜索全局最优点，易于陷入局部极优点。通常做法是在可行域中从 随机产生的多个初始值处搜索相应的局部极优点，然后通过比较获得一个最好的极值点，以 此作为全局最优点的近似。然而这种做法的缺陷非常明显，即无法设定合适的搜索次数，使 得计算的时间开销难以把握，同时在设定的搜索次数内难以对获得的最好的极优点进行评定。 因此，必须使用全局性搜索算法来获得全局性最优点。 与局部性搜索算法相比，全局性搜索算法通常是概率性算法，这是由予实际中的全局性 优化问题通常没有解析表达式或者解析表达式非常复杂难以进行理论分析，如禁忌搜索、模 拟退火、遗传算法等。基本思想是在可行域中从给定的一个或多个随机初始点出发进行搜索， 利用适当的状态转移规则和合理的概率性状态接收规则搜索新的更优点，在确定的时间或搜 索次数之内停止算法。其中，适当的状态转移规则能够尽可能避免过早地陷入局部极优点。 在大多数情况下，全局性搜索算法只能通过概率搜索获得在概