PCA(princple components analysis)络.docVIP

PCA（principle components analysis）网络 及算法的研究报告 房子成 郑金斌 摘要：PCA（主成分分析）算法被广泛应用于工程和科学研究中，本报告主要从PCA的基本结构和基本原理对其进行研究，常规的PCA算法主要采用线性算法，通过研究论证发现线性的PCA算法存在着许多不足，比如线性PCA算法不能从线性组合中把独立信号成分分离出来，主分量只由数据的二阶统计量—自相关阵确定，这种二阶统计量只能描述平稳的高斯分布等，因此必须对其进行改进，经改进后的PCA算法有非线性PCA算法、鲁棒算法等。我们通过PCA算法在直线（平面）中拟和的例子说明了PCA在工程中的应用。本例子采用的是成分分析中的次成分（方差最小的成分），通过对结果的分析，我们可以看出，利用PCA算法可以得到较好的拟和结果。整个研究报告由我和房子成完成，房子成主要负责PCA的基本结构和基本原理的研究，我主要负责程序的编写仿真。 PCA（principle components analysis）网络及算法 主要内容： 神经网络PCA的基本结构 PCA的基本原理 PCA算法的进一步扩展 研究网络中遇到的问题 PCA在直线（平面）拟和地应用 第一个问题：神经网络PCA的基本结构 一、单个神经元抽取最大分量 单个神经元的结构如图所示： 其输出为 y= 根据上面讨论的结果，如果用Hebb规则学习，则会使输出方差最大，它对应第一个主分量，此时的正好是与Rxx的最大特征值对应的特征向量。但是简单的Hebb规则会使学习过程发散，为此，我们采用Oja规则下面给出离散形式。 由=y(n)[xi(n)-y(n)i(n)]可得权值修正公式为 i (n+1)= i(n)+ y(n)[xi(n)-y(n) i(n)] 也可写成向量形式，为此令 x(n)=[x0(n),x1(n),…,xp-1(n)]T w(n)=[ 0(n), 1(n),…, p-1(n)]T 则 y(n)=xT(n)w(n)=wT(n)x(n) w(n+1)=w(n)+ y(n)[x(n)-y(n)x(n)] 可以证明，在满足下述假定时，学习过程是收敛的，即 权值学习过程足够慢，从而w是一个平稳过程，其短时统计量满足 E[w(n+1)|w(n)]=w(n)+w(n) (2) 输入向量x(n)取自平稳随机过程，其自相关阵Rxx具有不同的特征值。 （3） x(n)与w(n)统计独立，在分析线性自适应滤波器时，通常都要做这一假定。 二、单层网络用于抽取一组主分量 将刚讲到的学习过程扩展到一个单层网络，如图所示。 则可抽取任意一组主分量，网络各单元是线性的，有p个输入，m个输出，且mp,由图可见： yj(n)= j=0,1,…,m-1 Sanger 提出了如下的权值修正公式 ji=[yj(n)xi(n)-yj(n)] i=0,1,…,p-1 j=0,1,…,m-1 称之为广义的Hebb算法（GHA）。单个神经元的PCA是当m=1时的特例。 下面对该算法做一个直观的分析，把上式写成向量的形式： j(n)=yj(n)x’(n)- yj2(n)wj(n) j=0,1,…,m-1 其中 x’(n)=x(n)- 从直观上得出以下结果： （1）对于图中的第一个神经元来说，j=0,x’(n)=x(n),它相当于一个神经元的PCA的情况，第一个神经元的输出就是其最大主分量。 （2）对于图中的第二个神经元来说，j=1,x’(n)=x(n)- 0(n)y0(n)，如果第一个单元已收敛于第一个主分量，则第二个单元得到的输出x’(n)是Rxx中已经去掉第一个主分量的结果。它抽取的是x’(n)的最大主分量，相当于原输入x(n)的第二大主分量。 （3）对地三个神经元，j=2, x’(n)=x(n)- 0(n)y0(n)- 1(n)y1(n)，第三个单元的输入x’(n)是Rxx中去掉第一、第二主分量的结果，它抽取的是第三个主分量。依次类推。 从以上结果可以看出，通过GHA学习，网络的权矩阵将收敛于T(n)，其列分别对应于Rxx的前m个特征值对应的特征向量，输出是x(n)在这些特征向量上的投影，GHA的步骤可以归纳为： （1）n=1赋给权值以小的随机数，令步长为一个小的正数。 （2）对于n=1，j=0,1,…,m-1和i=0,1,…,p-1，计算yj(n)= ji=[yj(n)xi(n)-yj(n)] （3）n n+1，返回第（2）步，如此继续直到ji达到稳定。 第二个问题：PCA的基本原理 在统计模式识别和回归分析中，降低输入变量的维数是很