一种神经网络特征压缩与分类的研究.pdfVIP

一种神经网络特征压缩及分类的研究 江铭炎 (山尔大学电子工程系，济南，250100】 江铭虎 (北方交通天学信息科学研究所，北京100044) 摘要 由f对多类问题的高维数据无法直接观察其聚类和分布特性，本文采用神经网络 ● 法实现自适应主元特征提取(APEX1、以压缩特征宁间的维数，并保持足够的信息来鉴别事 物之间的类别，它可有效地提取信号的主耍特征、抑制噪声。我们将高维数据压缩影射到2或 3维，从而实现特征数据的可视性分析，显示物体对象问的类似程度和关系结构，并采用高阶 函数的神经网络对其进行非线性分类，同时与BP网络的非线性分类能力进行了实验比较，结 果表明高阶函数神经网络较BP网络分类能力强，训练速度快。 ● 关键词：主元提取、高阶函数、神经网络； 、引言 通常模式识别系统包含着高维特征矢量，特征维数越多，系统训练速度越馒，而且过多的 特征维数也许古有很多无用信息，从而导致系统性能下降，这通常由降维技术来解决。降维技 术的目的是将高维特征影射到低维，并保持足够的信息来鉴别事物之间的类别。多主元分析法 是数据分析和特征降维的经典统计技术，它具有提取信号的主要特征、抑制噪声、压缩数据的 ≯可以是函数也可以是算法，当pm时为特征降维，删除不重要或多余的特征，减少系统的运 算量，我们的目的是将特征维数影射到m(=3维，这时可将特征用于视觉显示，对特征数据进 行可视性分析，显示物体对象问的类似程度和关系结构。对于多类问题的离维特征数据，采用 非线性超平面将其区分开来。由于多层感知器的BP网络具有非线性分类能力，但该算法是一 种梯度算法，它不能保证连接权值收敛于全局最优解，且收敛速度慢。采用高阶函数的单层感 知器，具有很强的非线性变换特性，它的权值学习采用展速下降法，其训练速度快。一个阶数 足够高的高阶神经网络能在精度范围内实现任意的非线性变换。 ● 二、特征数据压缩及影射 特征主元提取是将原N维特征影射到m维，通过保留数据的相关矩阵或协方差矩阵所对 应的前m个最大特征值的特征矢量，删去较小的特征值对应的特征矢量，具有抑制噪声，压缩 ● 数据的功能，m的值受降维处理均方误差大小的制约，它将原N维数据矢量在最小均方误差 意义上靠近rn个最大特征矢量所对应的超平面。设输入样本的协方差矩阵为 其．v阶特征值^如．．2Ⅳo， Ph=I，f=1,2，…，N。 E．Oja最大主元提取学-j算法定理【ll： 一151 量为w(t)=【Ⅵ(f)，w2(f)，…，wⅣ(f)】1，则：yl(f)；∑三1wJ(t)x，(f)=W1(t)X(t)。 若权矢量w(t】按如下算法进行叠代学习： w(t+1)=M，)+卢·yl(f)【x(，)一W。(Ox(t)w(O】 ，—+甘 具有自动提取最大主元的性质，其中口为步长。(证明见文献【1]。) 下面研究自适应主元提取APEX神经网络，它可进行多主元分析与处理，是在统计特性未 知时，通过自学习提取信号的主要特征。它是用前m．1个神经元的连接权值来递推计算角io ● 个神经元的连接权值，如图l所示．它比目前其它神经网络进行多主元分析的运算量均小，其 算法为㈨】： V(t)=W(t)X(t) …(1)