深度学习与信号处理： 原理与实践 课件 第5章 小波神经网络.ppt

***************************5.4小波神经网络优化方法5.4.2小波基函数优化4.Daubcchics小波Daubcchics简称为db小波，它是对尺度取2时整次幂条件下进行小波变换的一类小波，该小波具有正交性，紧支撑，但是并不是对称小波。对于小波神经网络，选择小波基函数时，应在保证网络性能的前提下，尽量减少计算时间，也就是说，在保证WNN训练后在一定误差范围内，小波神经网络要加快收敛速度，提高WNN模型的实时性。将不同的小波基函数代入WNN中，最终得到的函数拟合误差，如下图所示。**5.4小波神经网络优化方法5.4.2小波基函数优化4.Daubcchics小波不同的小波函数带入WNN中，由于每个小波函数特性不相同，因此针对函数的非线性拟合问题，上图表明，虽然分析了多种函数，但最终结果依然是Morlet小波函数作为WNN的隐含层激励函数时，其的误差值更小，再进一步分析，根据程序中小波神经网络的收敛速度，还可以得出Morlet小波基函数收敛性更好的结论。**5.4小波神经网络优化方法5.4.3小波神经网络结构优化WNN的结构主要由输入层、隐含层、输出层与彼此相连的节点网络权值组成，WNN的输入层与输出层都为单层，且输入层与输出层的节点数只与小波神经网络解决的具体问题有关。因此，WNN结构对性能的影响体现在隐含层的层数与隐含层节点数的选取是否适宜待解决问题。隐含层是WNN的输入层与输出层之间的中间层，它负责对小波神经网络输入层输入的数据进行特征提取工作，随着隐含层层数的增加，相应的小波神经网络结构的复杂度也会增加，数据处理的时间变长，甚至于随着小波神经网络隐含层层数增加，小波神经网络还可能会出现过拟合现象，因此小波神经网络的结构选择一般会优先选择三层结构网络，即选择只有一层隐含层的小波神经网络。然而，在工程过程中，如果增加隐含层节点数已不能提升小波神经网络的非线性拟合能力，或者是小波神经网络隐含层节点数过多导致网络运行困难等缺陷，就可以考虑适当增加小波神经网络隐含层的层数、减少单层隐含层的节点数。**5.4小波神经网络优化方法5.4.3小波神经网络结构优化如何确定小波神经网络中隐含层节点数呢？隐含层与输入节点的网络联系以及隐含层与输出层之间的网络联系共同组成了小波神经网络的核心，其中隐含层可以提取WNN输入层中的泛化信息，起到了体现输入层与输出层之间映射关系的作用，因此隐含层节点数的选择十分重要。隐含层节点过多，造成网络冗余度增加、计算量增大、时间增长等后果；而隐含层节点数过少，则小波神经网络可能最基本的实现输入层与输出层之间的映射关系、非线性拟合能力无法完整的体现出来。因此，需从小波神经网络功能的实现，网络训练的快速性、结构的精炼性等方面考虑隐含层节点数的选择。**5.4小波神经网络优化方法5.4.3小波神经网络结构优化（1）为了提高小波神经网络性能，因此应该在保证小波神经网络模型的泛化能力前提下，尽量的减少计算时间，即要在保证网络训练后准确度的前提下，尽可能的精简WNN结构，这其中包括减少WNN隐含层的层数，也包括在准确度保证的前提下尽量地减少小波神经网络隐含层的节点数。因为隐含层的作用是对信息进行提取归纳作用，故其节点数一般远远小于训练的样本数，训练样本数需要高于网络的连接权数，否则网络没有泛化能力。（2）为了减小小波神经网络模型在模型修正过程中的计算量，提高计算速度，在一定范围内增加小波神经网络的隐含层节点数可以提高小波神经网络的非线性拟合能力，然而当隐含层节点数超过这个范围后，增加WNN隐含层节点数对于提高小波神经网络模型的性能影响不大。文献[32]给出了一种确定隐含层节点数的方式：隐含层节点数等于输入层节点个数与输出层节点个数之和的一半加一，利用输入层节点数与输出层节点个数，借鉴两个隐含层节点数的计算公式，计算出隐含层的可能值后，将可能值分别向左向右分别拓宽取值范围，将取值范围内的所有可能的数目进行试验验证，最终选取最适宜值作为WNN隐含层节点个数。*5.5实例4：基于嵌入小波神经网络的常模盲均衡算法*根据前面分析，现研究嵌入小波神经网络的盲均衡算法。本节研究将小波嵌入神经网络与空间分集技术、分数间隔相结合的常模盲均衡算法，提出了基于空间分集技术的小波神经网络盲均衡算法和基于小波神经网络的分数间隔盲均衡算法。这两类算法与标准的前馈神经网络盲均衡算法相比较，均能体现出明显的优越性。*5.5实例4：基于嵌入小波神经网络的常模盲均衡算法*5.5.1