《出版社多元统计分析》课件_主成分几何意义.pptVIP

多元统计分析主成分分析几何意义MultivariateStatisticalAnalysis由主成分的介绍我们知道，在处理涉及多个指标问题的时候，为了提高分析的效率，可以不直接对个指标构成的维随机向量进行分析，而是先对向量进行线性变换，形成少数几个新的综合变量，使得各综合变量之间相互独立且能解释原始变量尽可能多的信息，这样，在以损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。此处，我们讨论主成分分析的几何意义，为了方便，仅在二维空间中讨论主成分的几何意义，所得结论可以很容易地扩展到多维的情况。设有个样品，每个样品有两个观测变量，这样，在由变量组成的坐标空间中，个样品点散布的情况如带状，见图1。图1由图可以看出这个样品无论沿轴方向还是沿轴方向均有较大的离散性，其离散程度可以分别用观测变量的方差和的方差定量地表示，显然，若只考虑和中的任何一个，原始数据中的信息均会有较大的损失。我们的目的是考虑和的线性组合，使得原始样品数据可以由新的变量和来刻画。在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐标轴和，坐标旋转公式如下：其矩阵形式为：其中，为旋转变换矩阵，由上式可知它是正交阵，即满足经过这样的旋转之后，个样品点在轴上的离散程度最大，变量代表了原始数据绝大部分信息，这样，有时在研究实际问题时，即使不考虑变量也无损大局。因此，经过上述旋转变换就可以把原始数据的信息集中到轴上，对数据中包含的信息起到了浓缩的作用。进行主成分分析的目的就是找出转换矩阵，而进行主成分分析的作用与几何意义也就很明了了。下面我们用遵从正态分布的变量进行分析，以使主成分分析的几何意义更为明显。为方便，我们以二元正态分布为例。对于多元正态总体的情况，有类似的结论。设变量遵从二元正态分布，概率密度为:令为变量的协方差矩阵，其形式如下：令则上述二元正态分布的密度函数有如下矩阵形式：考虑（为常数），为方便，不妨设上式有如下展开形式：令，则上面的方程变为：这是一个椭圆的方程，长短轴分别为：又令为的特征值，为相应的标准正交特征向量.则为正交阵，有：因此有：与上面一样，这也是一个椭圆方程，且在构成的坐标系中，其主轴的方向恰恰正是坐标轴的方向。因为所以，就是原始变量的两个主成分，它们的方差分别为，在方向上集中了原始变量的变差，在方向集中了原始变量的变差，经常有远大于，这样，我们就可以只研究原始数据在方向上的变化而不致于损失过多信息，而就是椭圆在原始坐标系中的主轴方向，也是坐标轴转换的系数向量。对于多维的情况，上面的结论依然成立。这样，我们就对主成分分析的几何意义有了一个充分的了解。主成分分析的过程无非就是坐标系旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐标轴的方向就是原始数据变差最大的方向。开卷有益谢谢大家！