PCA网络计算法.ppt

PCA（principle components analysis)网络及算法 房子成 郑金斌 主要内容 神经网络PCA的基本结构 PCA的基本原理 PCA算法的进一步扩展 研究网络遇到的问题 PCA仿真应用 第一个问题：神经网络PCA的基本结构一、单个神经元抽取最大分量 输出为 权值修正公式： 向量形式： 二、单层网络抽取一主分量 网络的输出为： Sanger 提出如下的权值修正公式： 向量形式： 其中 第二个问题：PCA的基本原理 E[X]=0 a=xTu=uTx σ2=E[a2]=uTRxxu φ(u)= σ2=uTRxxu φ(u+δu) ≤ φ(u) (δu)TRxxu≈0 (δu)Tu≈0 (δu)T(Rxxu-λu)=0 Rxxu=λu 第二个问题：PCA的基本原理 Λ=diag(λ0,λ1,…,λd－1) UTRxxU=Λ 第二个问题：PCA的基本原理 误差为： 原是变量x的d个分量的总方差为： 变换后的向量前m个分量的方差为： 误差e的方差为： 结论： 欲进行维数压缩，应先计算输入向量的相关矩阵Rxx的特征值和特征向量，并将特征向量单位化，按大小顺序排列。然后将原向量投影到前m个特征值对应的特征向量构成的子空间中，用x’0,x’1,…,x’m-1表示投影后的分量，则x’0具有最大方差，，与x’0不相关的方向中x’1，具有最大方差。依次类推。 主成分的几何说明 第三个问题：PCA算法的进一步扩展 一、有侧向连接自适应的PCA 说明： （1）由输入到神经元0，1，…，j间是前向连接，j﹤p,p是维数，权向量为 Wj=[ωj,0(n), ωj,1(n), ωj,2(n), ωj,p-1(n),]T 他们是按Hebb规则学习的，起自增强的作用。 （2）从神经元0，1，…，j－1到第j神经元间的侧向连接起反馈作用，反馈连接权为 aj(n)=[aj,o(n) ,aj,1(n), …, aj,j-1(n)]T 他们按反Hebb规则学习的，起抑制作用。 j单元的输出为： yj(n)=wjT(n)x(n)+ajT(n)yj-1(n) 其中反馈信号： yj-1(n)=[y0(n), y1(n), …, yj-1(n)]T 二、非线性的PCA 线性PCA的不足： （1）常规的PCA可以用数值法求解，而基于梯度法的神经网络收敛较慢。 （2）主分量只由数据的二阶统计量——自相关阵确定，这种二阶统计量只能描述平稳的高斯分布。 （3）PCA网络不能从线性组合中把独立信号成分分离出来。 非线性PCA的优势： （1）输入到输出的变换非线性的，使得神经网络更为有效。 （2）梯度法通过迭代计算，避免了非线性方程，且可以用模拟硬件电路实现。 （3）可以使用如累计量这样的高阶统计量，可以代表非高斯数据。 （4）非线性处理可以使输出更加相互独立。 非线性主元的结构图 非线性主元： T=G(X) G=[G1,G2, …,Gf] 第i个主元Ti为： Ti=Gi(X) 对T反变换得 Xj’=Hj(T) 重建误差： 三、鲁棒PCA算法 目的： 常规的PCA当原始数据有格点（outliers)时出现较大的误差，为解决这一个问题，基于鲁棒统计方法和统计物理方法中的鲁棒PCA算法，主要研究改善主成分分析的算法鲁棒性的一种途径，以提高PCA的精度。修正的PCA算法能够在运行中自动的识别样本集中的“劣点”，从而通过迭代计算加以适当处理来排除对运算精度的影响。 一是要考虑如何能够达到输出各主成分间相互独立。 二是考虑如何去除或减弱有限的训练样本集少量的“劣点”样本的影响从而获得准确的主方向。 第四个问题：研究网络遇到的问题 （1）GHA算法中，步长的选择与什么因素有关？ （2）单个神经元的PCA中，为什么不采用Hebb规则？ 在许多工程问题 , 特别如计算机 视觉中, 经常遇 到用一个直线(曲线) ,平面(曲面)或超平面(超曲线) 拟合给定数据的问题 , 常用的是最小二乘法(LS)， 例如给定一组数点 , 用一个直线模型 在通常的LS意义 拟合 的问题，就是找到一个估计 , 是使： 其中： 如图： 是点 到拟合直线的纵向线段的长度， 因此上式的意义是使所有这种纵向线段的平方长度之和最小。其实，只有因变量 有误差，而