自适应子波神经网络分类器的机理分析.docxVIP

自适应子波神经网络分类器的机理分析自适应稀薄神经网络分类器通过网络学习自动提取输入信号有效的子波特征。每个输出单元均可看作是一个二类识别问题，对第维来将：目标为，则，其中表示目标出现的概率，表示目标为类的学习样本集容量。目标非类记作，则，其中表示目标非类出现的概率，。对于输出层神经元式中，为signoid函数。由于是单调可逆的，所以与之间存在确定的一一对应关系。在训练阶段，误差信号可以直接从空间提取。设代表实际输出矩阵，为理想输出，则式中，式中，为矩阵中第列列矢量，即分类器输出的第个学习样本；、均为常数，且、。定义分类器训练的目标函数为网络输出的均方误差，描述为式中，表示第个学习样本的输出矢量的第个分量；代表第个学习样本的期望输出矢量的第个分量。将写成矩阵矢量形式即为由于式中，是子波特征矢量矩阵，；为各分量为1的维列矢量。将式(8)代入式(7)得显然为变元的函数。网络通过学习调节权值、阈值以及子波参数、，使误差达到最小。首先分析一下最后一层神经元的作用，即调节和使最小的过程。式（9）可分为，式中代表矩阵求迹运算。对极小化，令可得，令式中，为中第列矢量，即第个学习样本的子波特征矢量。显然，为平均期望输出矢量，为特征提取层子波特征平均矢量。将式（92）、式（93）代入式（91）可得，将值代入式（9），整理得，定义则式(94)可写成对极小化，令，可导出，式中，代表矩阵的Moore-Penrose伪逆。将式（98）代回使（97），并注意伪逆的性质有结合式（85）有将上式代入式（99）有为常数，因此对按最小平方误差准则极小化误差等价于极大化由下面定义的可分性测度函数。定义可分性测度函数为其中式中，为第类学习样本在网络中获得的子波特征的平均矢量。将式（102）-（104）代入式（101）可得到权值点处的输出均方误差值，可以看出，是在学习样本集基础上对定义在网络特征提取子波特征空间内的样本混合散布矩阵的一个估计，它的物理意义是样本在子波特征空间的聚类程度。是在学习样本集基础上对定义在网络特征提取子波特征空间内的加权的样本类间散布矩阵的一个估计，加权的权重正比于各类的先验概率，它表示样本在子波特征空间的类间散布。显然，。当时各类基本重合，说明网络特征提取层的子波集定义在自适应子波网络分析器的特征提取层上的子波特征有关，而与输出层的权重和阈值无关。那么对于输出层，使分类均方误差最小的过程就是使得学习样本集定义在只适应子波神经网络分类器特征提取层上的子波特征具有最大可分性的过程。值得注意的是，输出层并不能改变学习样本集定义在特征提取层子波特征空间内的可分性。接下来分析特征提取层的功能。对极小化且满足对极小化，等价于对极小化，也就等价于对求解上述优化问题得到（当初始值即为极值点时等号成立），结合式（85）有，结合式（88）可以看出：寻求可分性测度函数最大化的过程即时寻求极值点，使得学习样本集定义在由所确定的一组子波基（即网络的特征提取层）上的子波特征空间内的可分性最大化。与输出层作用不同，特征提取层通过参数的调节从根本上改变了的大小。更进一步，需求可分性测度函数最大化的过程，也就是寻求使得学习样本类别可分性最大的子波特征的过程。当时，分类最小平方误差可以降到0.通过以上分析可知：对于任意多累识别问题的自适应子波神经网络分类器，寻求最小均方差的过程，也就是寻求可分性最大的子波特征以及对这些子波特征进行最大可分性划分的过程。对于特征提取层，就是最大化。对于输出层，就是对于特征提取层的输出（即提取的信号子波特征）进行最大可分性的划分。