09主成分析.doc

主成分分析 变量之间存在一定的相关性，因此，多变量可能存在信息的重叠。人们自然希望通过克服相关性、重叠性，用较少的变量来代替原来较多的变量，而这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。 主成分分析也称主分量分析。由于多个变量之间往往存在一定的相关性。人们自然希望通过线性组合的方式，从这些指标中尽可能快地提取信息。当第一个线性组合不能提取更多的信息时，再考虑用第二个线性组合继续这个快速提取的过程，直到所提取的信息与原指标相差不多时为止。这就是主成分分析的思想。一般来说，在主成分分析适用的场合，用较少的主成分就可以得到较多的信息量。以各个主成分为分量，就得到一个更低维德随机向量；因此，通过主成分既可以降低“维数”。又保留了原数据的大部分信息。 信息用什么表示呢？ 当一个变量只取一个数据时，这个变量（数据）提供的信息是非常有限的，当变量取一系列不同数据时，可以从中读出最大值、最小值、平均值等信息。变量的变异越大，说明它对各种场景的“遍历性”越强，提供的信息就更加充分，信息量就越大。主成分分析中的信息，就是指标的变异性，用标准差或方差表示。 主成分分析的数学模型是，设个变量构成的维随机向量为。对作正交变换，令，其中为正交阵，要求的各分量是不相关的，并且的第一个分量的方差是最大的，第二个分量的方差次之，……。为了保持信息不丢失，得各分量方差和与的各分量方差和相等。 主成分的几何意义及数学推导 主成分分析数学模型中的正交变换，在几何上就是作一个坐标旋转。因此主成分分析在二维空间有明显的几何意义。（看书上的例子P139） 主成分的数学推导 设为一个维随机向量，并假定存在二阶矩，其均值向量与协方差分别记为 ， 考虑如下的线性变换 用矩阵表示为 其中；。 我们希望寻找一组新的变量，这组新的变量要求充分地反应原变量的信息，而且相互不相关。 这里我们应该注意到，对于有 这样，我们所要解决的问题转化为，在新的变量相互不相关的条件下，求使得达到最大。 首先注意到，使达到最大的线性组合，显然用常数乘以后，也随之增大，为了消除这种不确定性，不妨假设满足。这样问题可以更加明确： 第一主成分，满足，使得达到最大的。 第二主成分为，满足，且 ，使得达到最大的。 一般情形，第主成分为，满足，且 ，使得 达到最大的。 主成分的应用： 可以利用主成分分析进行综合评价 人们在对某个单位或某个系统进行综合评价时都会遇到如何选择评价指标体系和如何对这些指标进行综合的困难。一般情况下，选择评价指标体系后通过对各指标加权的办法进行综合。 但是，如何对指标加权是一件挑战性的工作。指标加权的依据是指标的重要性，指标在评价中的重要性判断难免带有一定的主观性，这影响了综合评价的客观性和准确性。由于主成分分析能从选定的指标中归纳出大部分信息，根据主成分提供的信息进行综合评价，不失位一个可行的选择。这个方法是根据指标间的相对重要性进行客观加权，可以避免综合评价者的主观影响，在实际应用中越来越受到人们的重视。 对主成分进行加权综合。我们利用主成分进行综合评价时，主要是将原有的信息进行综合，因此，要充分地利用原始变量提供的信息。将主成分的权数根据它们的方差贡献率来确定，因为方差贡献率反应了各主成分的信息含量多少。设是所求的个主成分，他们的特征根是，将特征根“归一化”即有 记为，由，构造综合评价函数为 令，并代入上式有。 其他应用：可以用来分类；可以利用主成分回归；主成分检验等 leading role, strengthening the capacity of regional radiation. Urban and rural is an inevitable trend, also required from a broader construction of the rapid transit system. Entering the 21st century, the city has maintained fast development momentum, are feature-rich and enhanced. Inherent of city space tends to saturated, in more fast of development speed Xia, city population scale also constantly expansion, city function too concentrated by brings of problem increasingly serious, how Guide City by single cen