主成分分析定义.docVIP

主成分分析定义 主成分分析：将原来较多的指标简化为少数几个新的综合指标的多元统计方法。 主成分：由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分，第二主成分等等。 满足如下的条件： 1、每个主成分的系数平方和为1。即 2、主成分之间相互独立，即无重叠的信息。即 3、主成分的方差依次递减，重要性依次递减，即 F1、F2….Fp分别称为原变量的第一、第二….第p个主成分。 例１：设的协方差矩阵为： 从协方差矩阵出发，求解主成分． （１）求协方差矩阵的特征根 依据求解． （２）求特征根对应的特征向量 （３）主成分： （４）各主成分的贡献率及累计贡献率： 第一主成分贡献率： 第二主成分贡献率： 第三主成分贡献率： 第一和第二主成分的累计贡献率： 　由此可将以前三元的问题降维为两维问题．第一和第二主成分包含了以前变量的绝大部分信息９７.８７５％． 样本主成分的性质： 1、第K个主成分yk的系数向量是第K个特征根λk所对应的标准化特征向量。 2、第K个主成分的方差为第K个特征根λk，且任意两个主成分都是不相关的，也就是y1,y2,…,yp的样本协方差矩阵是对角矩阵 3、样本主成分的总方差等于原变量样本的总方差，为p 4、第K个样本主成分与第j个变量样本之间的相关系数为：（因子载荷量） 主成分个数的选取 1.累积贡献率达到85%以上 2.根据特征根的变化来确定 数据标准化情况下： 3.作碎石图 描述特征值的贡献 因子分析的基本理论 因子分析是主成分分析的推广，也是利用降维的思想，由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发，把一些具有错综复杂关系的多个变量归结为少数几个综合因子的一种多元统计分析 因子分析的基本思想： 把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。 主成分分析分析与因子分析的联系和差异： 因子分析是主成分分析的推广，是主成分分析的逆问题。主成分分析是将原始变量加以综合、归纳；因子分析是将原始变量加以分解、演绎。 （1）主成分分析仅仅是变量变换，而因子分析需要构造因子模型。 （2）主成分分析:原始变量的线性组合表示新的综合变量，即主成分； 因子分析：用潜在的假想变量（公共因子）和随机影响变量（特殊因子）的线性组合表示原始变量。用假设的公因子来“解释”相关矩阵内部的依赖关系。 （3）主成分分析中主成分个数和变量个数相同，它是将一组具有相关关系的变量变换为一组互不相关的变量，在解决实际问题时，一般取前m个主成分；因子分析的目的是用尽可能少的公因子，以便构造一个结构简单的因子模型。 因子分析模型： 设个变量，如果表示为 称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。其中： （1） 相互独立即不相关； （2） 即互不相关，方差为1。 （3） 即互不相关，方差不一定相等，。 满足以上条件的，称为正交因子模型． 如果（２）不成立，即各公共因子之间不独立，则因子分析模型为斜交因子模型． 公因子F1 公因子F2 共同度hi 特殊因子δi x1=代数1 0.896 0.341 0.919 0.081 x2=代数2 0.802 0.496 0.889 0.111 x3=几何 0.516 0.855 0.997 0.003 x4=三角 0.841 0.444 0.904 0.096 x5=解析几何 0.833 0.434 0.882 0.118 特征值 G 3.113 1.479 4.959 0.409 方差贡献率（变异量） 62.26% 29.58% 91.85% F1 体现逻辑思维和运算能力，F2 体现空间思维和推理能力 因子分析模型中的几个重要统计量的意义： （1）因子负荷量（或称因子载荷）----是指因子结构中原始变量与因子分析时抽取出的公共因子的相关程度。 在各公共因子不相关的前提下，（载荷矩阵中第i行，第j列的元素）是随机变量xi*与公共因子Fj的相关系数，表示xi*依赖于的程度。反映了第i个原始变量在第j个公共因子上的相对重要性。因此绝对值越大，则公共因子与原有变量的关系越强。 （2）共同度----又称共性方差或公因子方差（community或common variance）就是变量与每个公共因子之负荷量的平方总和（一行中所有因素负荷量的平方和）。变量的共同度是因子载荷矩阵的第i行的元素的平方和。记为 从共同性的大小可以判断这个原始实测变量与公共因子间之关系程度。如因子分析案例中 共同度= + =0.919 特殊因子----各变量的特殊因素影响大