数学建模：主成分分析教材课程.ppt

主成分分析;主成分分析的基本思想 主成分数学模型与几何解释 主成分的推导 主成分分析的应用 主成分回归 ;;例：小学各科成绩的评估可以用下面的综合成绩来体现： a1×语文＋a2×数学＋a3×自然＋a4×社会科学 确定权重系数的过程就可以看作是主成分分析的过程，得到的加权成绩总和就相对于新的综合变量——主成分;为什么要根据方差确定主成分？;对主成分的要求;;假设有n个样品，每个样品有两个观测变量x l和x 2，在由变量x l和x 2所确定的二维平面中，n个样本点所散布的情况如椭圆状。如图所示：;根据旋转变换的公式： ;其中; 这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。;满足如下的条件：;假设p个原始变量的协方差阵为:;对角线外的元素不全为0，意味着原始变量 x1,x2, …,xp存在相关关系。 如何运用主成分分析将这些具有相关关系的变量转化为没有相关关系的新变量（主成分）呢？？ 新变量之间没有相关关系，则意味着它的方差协方差阵为对角矩阵：;因为Σx 为正定对称矩阵，依据线性代数的知识可知有正交矩阵 A 将Σx 旋转变换为： ; §3主成分的推导 ;;如果第一主成分的信息不够，则需要寻找第二主成分。;用 左乘上式，;结论：X的协方差矩阵的最大特征根 所对应的单位特征向量 即为 并且 就是F1的方差。;4 确定主成分个数 （1）根据累积贡献率 当 大于某个阈值时（85%以上)，可认为主成分数目为m。 （2）根据其它准则 * 特征值大于1.0的因子数定为主成分数。 * (公共因子碎石图）利用特征值与因子数目的曲线，到某一因子数后，特征值减小幅度变化不大，此转折点的因子数即为主成分数m。 ;例1 下面是8 个学生两门课程的成绩表 ;;3.求特征值所对应的单位特征向量 ;4. 得到主成分的表达式 ;6. 比较主成分重要性 ;身高x1(cm);1. 求样本均值和样本协方差矩阵;4. 由此我们可以写出三个主成分的表达式： ;三个主成分的方差贡献率分别为： ;二、主成分分析的计算步骤 ; （二）计算特征值与特征向量 ① 解特征方程　　　　，常用雅可比??（Jacobi）求出特征值，并使其按大小顺序排列 ； ;③ 计算主成分贡献率及累计贡献率 贡献率; ④ 计算主成分载荷 　　　 ⑤ 计算各主成分得分 ;例3 对88个学生5 门不同课程的考试成绩进行分析，要求用合适的方法对这5 门课程成绩进行平均，以对88个学生的成绩进行评比。这5门课程是：Mechanics Vectors (闭)，Algebra Analysis Statistics (开)。 ;这5个主成分的方差分别为679.2，199.8，102.6, 83.7和31.8。前两个主成分各自的贡献率和累积贡献率为;§5 用主成分图解样品和变量; 主成分分析后，若能以两个主成分代表原变量大部分的信息，则我们可以在平面上分析每一个样品点。步骤如下： 1、对每个样品分别求第一主成分F1和第二主成分F2的得分。 2、建立以F1和F2 为轴的直角坐标系。以 F1为横坐标， F2为纵坐标，在坐标系中描出各个样品点（画散点图）。 3、解释坐标系的各个象限。 ;F1;二、图解变量（对变量分类）;X1;§6 主成分分析用于系统评估;通过主成分分析得到综合指标 利用 F1作为评估指标，根据F1得分对样本点进行 排序比较。但有两个前提条件： 1.? F1与全体原变量都正相关, 即 (i=1,2,…,p）。 2.??各 (i=1,2,…,p）在数值上的分布较为均匀。;反映地区社会经济发展的指标体系 X1：国内生产总值（GDP） X2：人均GDP X3：第三产业产值占GDP比重 X4：人均出口额 X5：工业企业劳动生产率 X6：人均社会消费品零售额 X7：每万人拥有卫生技术人员数 X8：每万人高等学校在校生数 X9：教育经费投入占GDP比重 X10：人均货运总量 X11：人均邮电业务总量