小波神经网络简介.pptx

会计学;什么是小波神经网络？;小波网络的结构形式;小波变换与神经网络的融合 小波变换与神经网络的融合，也称紧致型结合 ;小波的发展过程;小波变换的时间窗和频率窗 给出了信号在时间窗 内的局部信息 给出了信号在频率窗 内的局部信息 时频窗的面积始终不变， 对于检测 高频信号时a 自适应变为(a0，a较小的时候)使时间窗变窄，对于检测 低频信号时使时间窗变宽即可，这样可以更有效的获取 局部信息 ;小波的数学概念;母小波ψ(t)选择应满足的两个条件 (1)定义域是紧支撑的(Compact Support) 即在一个很小的区间以外，函数为零，换句话说，函数 由速降特性，以便获得空间局域化； (2)平均值为零，也就是 ;Haar小波 Mexican Hat Meyer小波 ;离散小波、二进小波和多尺度分析;多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称多尺度分析，其在小波分析中占有非常重要的地位，它是建立在函数空间概念上的理论,它重点在于处理整个函数集，而非侧重处理作为个体的函数。多分辨率分析从函数空间的角度将一个函数表示为一个低频成分和不同分辨率下的多个高频成分。更为重要的是，多分辨率分析不仅提供了构造小波的统一框架，而且提供了函数分解与重构的快速算法;执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在 1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际上是一种信号的分解方法，在数字信号处理过程中称为双通道子带编码 算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分继续分解，迭代上述过程。形成的树叫小波分解树。 ;小波网络的具体分类 (1) 用小波函数直接代替隐层函数 根据所选取的小波基函数的连续性的不同，可以将该模型分为连续参数的小波神经网络和基于小波框架的小波神经网络两种： ① 连续参数的小波神经网络 ② 基于小波框架的小波神经网络 ;基于小波框架的小波神经网络的学习方法 在传统的神经网络中，存在隐层单元数目难以确定的不足，而小波神经网络的隐层单元数目则可以 按如下方法自适应地确定： 首先取小??神经网络的隐层单元数目M为1，学习迭代若干次后，如满足误差条件，则停止迭带，若达到最大学习次数后，仍不满足误差条件，则小波变换单元数目增加1，重复上述过程，直到满足误差条件为止。这样就可以根据具体的问题自适应地确定小波变化单元个数，从而克服传统神经网络的不足。;基于多分辨率分析理论的小波神经网络 基于多分辨率分析小波神经网络的学习算法是由Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上逼近的递推方法, 具体描述为: 网络模型：;基于多分辨率分析小波神经网络的学习方法 先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定逼近误差和增加适当个数的 Ψ 节点以减小逼近误差; 最后是优化网络, 使用新的样本来检验网络并移去权重小的Ψ 节点直到满足性能指标。; 小波神经网络的优点 (1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息 (2)神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。 (3)小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性 (4)小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快; 小波神经网络的缺点 (1)在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。 (2)隐含层结点数难以确定。 (3)小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。 (4)未能根据实际情况来自适应选取合适的小波基函数;神经网络的学习方法;BP网络算法的改进: 函数采用了有动量的梯度下降法，提高了学习速度并增加了算法的可靠性。 梯度下降法在修正权值时，只是按照k时刻的负梯度方向修正，并没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学习过程发生振荡，收敛缓慢。为此，有人提出了如下的改进算法： 其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负梯度，η为学习率，α是动量因子，范围是[0,1]。当α=0时，权值修正只与当前负梯度有关系，当α=1时，权值修正就完全取决于上一次循环的负梯度了。这种方法所加入的动量项实质上相当于阻尼项，它减少了学习过程的振荡趋势，从而改善了收敛性。 动量因子可以通过设定，若不设定，缺省值为。 ;