讲义教案主成分分析.pptx

系统工程(System Engineering);1、掌握什么是主成分分析。 2、理解主成分分析的基本思想和几何意义。 3、理解主成分求解方法：协方差矩阵与相关系数矩阵的差异。 ;一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。;在进行主成分分析后，竟以97.4％的精度，用三个新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率?I以及时间t因素做相关分析，得到下表： ;;主成分分析：将原来较多的指标简化为少数几个新的综合指标的多元统计方法。 主成分：由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分，第二主成分等等。 ;主成分分析得到的主成分与原始变量之间的关系： 主成分保留了原始变量绝大多数信息。 主成分的个数大大少于原始变量的数目。 各个主成分之间互不相关。 每个主成分都是原始变量的线性组合。 ;假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…， Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，…，Fk (k≤p），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。 ;这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。 ;满足如下的条件： 每个主成分的系数平方和为1。即 主成分之间相互独立，即无重叠的信息。即 主成分的方差依次递减，重要性依次递减，即 F1、F2….Fp分别称为原变量的第一、第二….第p个主成分。;为了方便，我们在二维空间中讨论主成分的几何意义： 设有n个样品，每个样品有两个观测变量x1和x2，在由变量x1 和x2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着x1 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量x1的方差和x2的方差定量地表示。显然，如果只考虑x1和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。 ;如果我们将x1轴和x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。 ;;; ;旋转变换的目的：为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。 (变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局)。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。 ;Fl、 F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。 ;由此可概括出主成分分析的几何意义： 主成分分析的过程也就是坐标旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，新坐标系中各坐标轴的方向就是原始数据方差最大的方向。 ;从相关的X1, X2,… Xk,求出相互独立的新综合变量（主成分）Y1,Y2…Yk。 Y＝（ Y1, Y2…Yk ）’ 所反映信息的含量无遗漏或损失的指标—方差，等于X＝（ X1, X2 … Xk ）’的方差 。 X与Y之间的计算关系是：;设X的协方差阵为 由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得 ;其中λ1, λ2, … λp为Σx的特征根，不妨假设λ1≥λ2≥…≥ λp 。而U恰好是由特征根相对应的特征向量所组成的正交阵。;即：;写为矩阵形式：;例，设协方差矩阵为： ;例， 求协方差矩阵的特征根 依据　　　　　求解． ;例， 求特征根对应的特征向量 可在Matlab中用下列语句求解 [v,d]=eig(a)或[u,s,v]=svd(a) 其中，v为对应的特征向量，d为特征值。 ;例， 主成分 各主成分的贡献率及累计贡献率： 第一主成分贡献率： 第二主成分贡献率： 第三主成分贡献率： ;例， 第一和第二主成分的累计贡献率： 由此可将以前三元的问题降维为两维问题．第一和第二主成分包含了以前变量的绝大部分信息97.85% ;累积贡献率说明