计算机仿真课件复习资料.ppt

使用PCA解相关：寻找到某一套坐标系（旋转原来的坐标系），让数据点集在其上分布沿坐标轴方向方差最大。这样使得数据点集应该具有针对均值处于对称形状。 两个变量的主成分；经过旋转后的新的成份量是不相关的（对称形状） 思考：统计不相关是否意味独立？ F 2 F 1 X 1 X 2 三、 主成分的几何解释 以最简单的二元正态变量来说明主成分的几何意义 . 其 n 个样本点 的散布大致为一个椭圆. n 个点的 在平面上作一个坐标变换，即按 坐标 X1 和 X2 呈现某种线性相关性 . 逆时针方向旋转θ角度 . 在坐标系 X1 OX2 中， 取新坐标轴，在椭圆长轴方向取F1 , 短轴方向取F2 . 根据旋轴变换公式新老坐标之间有关系 n 个点的坐标 F1 和 F2 几乎不相关. 在坐标系 F1 OF2 中， F 2 F 1 X 1 X 2 在 F1 轴上的方差达到最大，在此方向上所含的有关 n 个 样品间差异的信息是最多的 ，故 称 F1 为 第一主成分 . 在和 F1 正交的轴 F2 上方差较 小，称 F2 为 第二主成分 . 因此，用一维空间代替二维空 间时，选用 F1 可使信息的损失降到最小. 这种系统简化方法体现了抓事物主要矛盾的哲学思维. θ=？ 四、主成份的推到及性质 一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使 其中 是A的特征根。 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有 令 （一） 第一主成分 设X的协方差阵为 由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得 五、主成分的推导 其中?1， ?2，…， ?p为Σx的特征根，不妨假设?1? ?2 ? … ??p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。 下面我们来看，是否由U的第一列元素所构成为原始 变量的线性组合是否有最大的方差。 设有P维正交向量 当且仅当a1 =u1时，即 时，有最大的方差?1。因为Var(F1)=U’1?xU1=?1。 如果第一主成分的信息不够，则需要寻找第二主成分。 （二） 第二主成分 在约束条件 下，寻找第二主成分 因为 所以 则，对p维向量 ，有 所以如果取线性变换： 则 的方差次大。 类推 写为矩阵形式： 通常我们在matlab里使用奇异值分解SVD来取主成分（特征向量） X是数据矩阵，可分解成D（特征根的平方根），U(主成分） 六、Matlab实例 一、旋转一个两周期的正弦波，旋转角45度。 %Example of data rotation %Create a two variable data set y=sin(x), % Then rotate the data set by angle of 45 deg clear all, close all; N=100; x(1,:)=(1:N)/10; x(2,:)=sin(x(1,:)*4*pi/10); plot(x(1,:),x(2,:), *k); xlabel(x1);ylabel(x2); phi=45*(2*pi/360); y=rotation(x,phi); hold on; plot(y(1,:),y(2,:), xk); %Function rotation function out=rotation(input,phi) [r c]=size (input); if rc input=input; transpose_flag=y; end R=[cos(phi),sin(phi);-sin(phi),cos(phi)]; out=input*R; if transpose_flag==y out=out; end 二、根据2个信号源和噪声，产生一个包含5变量的数据集。使用主成分分析，求取主成分并画出重要主成分，并画出特征根比值图。 %Example of PCA analysis clear all, close all; N=1000; fs=500; w=(1:N)*2*pi/fs; t=1:N; x=0.75*sin(w*5); y=sawtooth(w*7,0.5); D(1,:)=.5*y+.5*x+.1*rand(1,N); D(2,:)=.2*y+.7*x+.1*rand(1,N); D(3,:)=.7*y+.2*x+.1*