多元统计-主成分分析.pdf

主成分分析主成分分析 1.1.引言引言 2.2.主成主成分的几何意义及数学推导分的几何意义及数学推导 3.3.主成主成分的性质分的性质 4.4.主成主成分方法应用中应注意的问题分方法应用中应注意的问题 5.5.实实例及例及SPSSSPSS实现实现 第一节 引言 多元统计分析处理的是多变量（多指标）问题。由于变量较多，增加了分析问题 的复杂性。但在实际问题中，变量之间可能存在一定的相关性，因此，多变量 中可能存在信息的重叠。人们自然希望通过克服相关性、重叠性，用较少的变 量来代替原来较多的变量，而这种代替可以反映原来多个变量的大部分信息， 这实际上是一种“降维”的思想。 主成分分析也称主分量分析，是由Hotelling于1933年首先提出的。由于多个变量 之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式，从这 些指标中尽可能快地提取信息。当第一个线性组合不能提取更多的信息时，再 考虑用第二个线性组合继续这个快速提取的过程，……，直到所提取的信息与 原指标相差不多时为止。这就是主成分分析的思想。一般说来，在主成分分析 适用的场合，用较少的主成分就可以得到较多的信息量。以各个主成分为分量， 就得到一个更低维的随机向量；因此，通过主成分既可以降低数据“维数”又 保留了原数据的大部分信息。 我们知道，当一个变量只取一个数据时，这个变量（数据）提供的信息量是非常 有限的，当这个变量取一系列不同数据时，我们可以从中读出最大值、最小值、 平均数等信息。变量的变异性越大，说明它对各种场景的“遍历性”越强，提 供的信息就更加充分，信息量就越大。主成分分析中的信息，就是指标的变异 性，用标准差或方差表示它。 主成分分析的数学模型是，设p个变量构成的p维随机向量为X = （X 1 ，…，Xp ）′。 对X 作正交变换，令Y = T′X ，其中T为正交阵，要求Y的各分量是不相关的，并 且Y的第一个分量的方差是最大的，第二个分量的方差次之，……，等等。为了 保持信息不丢失，Y的各分量方差和与X 的各分量方差和相等。 第二节 主成分的几何意义及数 学推导 一 主成分的几何意义 二 主成分的数学推导 一、主成分的几何意义 主成分分析数学模型中的正交变换，在几何上就是作一个坐标旋转。因此，主成 分分析在二维空间中有明显的几何意义。假设共有n个样品，每个样品都测量 了两个指标（X 1 ， X2 ），它们大致分布在一个椭圆内如图6.1所示。事实上，散点的分布总有可 能沿着某一个方向略显扩张，这个方向就把它看作椭圆的长轴方向。显然，在 坐标系x Ox 中，单独 1 2 看这n个点的分量X 和X ，它们沿着x 方向和x 方向都具有 1 2 1 2 较大的离散性，其离散的程度可以分别用的X 方差和X 的方 1 2 差测定。如果仅考虑X 或X 中的任何一个分量，那么包含在 1 2 另一分量中的信息将会损失，因此，直接舍弃某个分量不是“降维”的有效办 法。 图6.1 主成分的几何意义 如果我们将该坐标系按逆时针方向旋转某个角度 变成新坐  标系y Oy ，这里 是椭圆的长轴方向， 是椭圆的短轴方向。 1 2 y 1 y 2 旋转公式为 Y X cos  X sin   1 1 2 (6.1）