小波神经网络剖析.ppt

3.3 小波神经网络 3.3.1 概述 小波神经网络（Wavelet Neural Network, WNN）是小波分析理论与神经网络理论相结合的产物 Pati和Krishnaprasad提出了离散仿射小波网络模型，其基本思想是将离散小波变换引入神经网络模型，通过对Sigmoid函数的平移伸缩构成中的仿射框架，进而构造小波神经网络。 Zhang Qinghu等1992年正式提出小波神经网络的概念，其思想是用小波元代替神经元，即用已定位的小波函数代替Sigmoid 函数作为激活函数，通过仿射变换建立起小波变换与网络系数之间的连接。 3.3.1 概述 小波神经网络的优点 小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息 神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。 小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性 小波神经网络有更强的学习能力，精度更高 对同样的学习任务，小波神经网络结构更简单，收敛速度更快。 3.3.1 概述 小波神经网络类型 松散型 小波分析对神经网络的输入进行初步处理，使得输入神经网络的信息更易于神经网络进行处理 融合型 小波和神经网络直接融合，即小波元代替神经元,输入层到隐含层的权值及隐含层阈值分别由小波函数的尺度和平移参数所代替 （1）连续参数的小波神经网络 （2）由框架作为基函数的小波神经网络 （3）正交基小波网络 3.3.1 概述 小波神经网络存在着以下一些不足之处 1）在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。 2）隐含层结点数难以确定。 3）小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。 4）未能根据实际情况来自适应选取合适的小波基函数。 3.3.2 小波神经网络参数调整算法 待确定参数 连接权值 尺度系统 平移系数 小波神经网络参数调整算法 标准BP算法 BP算法的改正算法 3.3.2 小波神经网络参数调整算法 设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有 个神经元，隐含层有 个神经元，输出层有 个神经元。 3.3.2 小波神经网络参数调整算法 隐含层选取的神经元激励函数为Morlet小波 训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性 3.3.2 小波神经网络参数调整算法 给定 组输入输出样本，学习率为 ，动量因子为 目标误差函数 式中 为输出层第n个结点的期望输出； 为网络实际输出 算法的目标 不断调整网络的各项参数，使得误差函数达到最小值 3.3.2 小波神经网络参数调整算法 隐含层输出 为输入层的输入 为隐含层的输出 为输入层结点 为与隐含层结点 为之间的权值； 为Morlet小波函数。 3.3.2 小波神经网络参数调整算法 输出层输出为 为输出层的输入 为隐含层结点 与输出层结点 之间的权值 3.3.2 小波神经网络参数调整算法 隐含层与输出层之间的权值调整式 、 分别表示调整前与调整后的隐含层结点 与输出层结点 之间的连接权值； 为动量项。 3.3.2 小波神经网络参数调整算法 输入层结点与隐含层结点之间的权值调整式 、 分别为调整前与调整后的输入层结点 与隐含层结点 之间的权值 为动量项 3.3.2 小波神经网络参数调整算法 伸缩因子调整式 、 为调整前与调整后的伸缩因子； 为伸缩因子动量项。 3.3.2 小波神经网络参数调整算法 平移因子调整式 、 为调整前与调整后的平移因子； 为平移因子动量项。 3.3.2 小波神经网络参数调整算法 学习算法的具体实现步骤 1）网络参数的初始化 将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量因子赋予初始值，并置输入样本计数器 。 2）输入学习样本及相应的期望输出。