第七主成分分析.pptVIP

第七章 主成分分析 §7.1 引言 §7.2 总体的主成分 §7.3 样本的主成分 1 §7.1 引言 主成分分析（principal component analysis）由皮尔逊（Pearson，1901）首先引入，后来被霍特林（Hotelling，1933）发展了。 主成分分析是一种通过降维技术把多个变量化为少数几个主成分（综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。 2 习题7.6 下表给出的是美国50个州每100 000个人中七种犯罪的比率数据。这七种犯罪是： x1：杀人罪 x5 ：夜盗罪 x2：强奸罪 x6 ：偷盗罪 x3：抢劫罪 x7 ：汽车犯罪 x4：斗殴罪 试图用降维的方式对50个州的犯罪情况进行比较分析。 3 4 state x1 x2 x3 x4 x5 x6 x7 Alabama 14.2 25.2 96.8 278.3 1135.5 1881.9 280.7 Alaska 10.8 51.6 96.8 284 1331.7 3369.8 753.3 Arizona 9.5 34.2 138.2 312.3 2346.1 4467.4 439.5 Arkansas 8.8 27.6 83.2 203.4 972.6 1862.1 183.4 California 11.5 49.4 287 358 2139.4 3499.8 663.5 Colorado 6.3 42 170.7 292.9 1935.2 3903.2 477.1 Connecticut 4.2 16.8 129.5 131.8 1346 2620.7 593.2 Delaware 6 24.9 157 194.2 1682.6 3678.4 467 Florida 10.2 39.6 187.9 449.1 1859.9 3840.5 351.4 Georgia 11.7 31.1 140.5 256.5 1351.1 2170.2 297.9 Hawaii 7.2 25.5 128 64.1 1911.5 3920.4 489.4 Idaho 5.5 19.4 39.6 172.5 1050.8 2599.6 237.6 Illinois 9.9 21.8 211.3 209 1085 2828.5 528.6 Indiana 7.4 26.5 123.2 153.5 1086.2 2498.7 377.4 Iowa 2.3 10.6 41.2 89.8 812.5 2685.1 219.9 Kansas 6.6 22 100.7 180.5 1270.4 2739.3 244.3 Kentucky 10.1 19.1 81.1 123.3 872.2 1662.1 245.4 Louisiana 15.5 30.9 142.9 335.5 1165.5 2469.9 337.7 Maine 2.4 13.5 38.7 170 1253.1 2350.7 246.9 ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ 5 主成分的应用 (1)在一些应用中，这些主成分本身就是分析的目的，此时我们需要给（用来降维的前几个）主成分一个符合实际背景和意义的解释，以明白其大致的含义。 (2)在更多的另一些应用中，主成分只是要达到目的的一个中间结果（或步骤），而非目的本身。例如，将主成分用于聚类（主成分聚类）、回归（主成分回归）、评估正态性、寻找异常值，以及通过方差接近于零的主成分发现原始变量间的多重共线性关系等，此时的主成分可不必给出解释。 6 旋转公式： 7 图7.1.1 寻找主成分的正交旋转 §7.2 总体的主成分 一、主成分的定义及导出 二、主成分的性质 三、从相关阵出发求主成分 8 一、主成分的定义及导出 设 ，E(x)=μ，V(x)=Σ。考虑如下的线性变换 希望在约束条件 下寻求向量a1，使得 达到最大，y1就称为第一主成分。 设λ1≥ λ2≥?≥λp≥0为Σ的特征值， ， i=1,2,?,p为相应的一组正交单位特征向量。则可求得第一主成分为 它的方差具有最大值λ1。 9 如果第一主成分所含信息不够多，还不足以代表原始的p个变量，则需考虑再使用 ，并要求 Cov(y1,y2) =0 我们在此条件和约束条件 下寻求向量a2，使得 达到最大，所求的y2称为第二主