主成分分析讲解.pptxVIP

主成分分析Principal Component Analysis统计学研究的核心问题？变 异VARIATION方差Variance变异性的度量？没有变异就没有统计学Dept. of Epidemio Biostat, SPH方差是什么？方差是信息多元世界的信息度量多元世界的每个变量的包含信息不同在单个变量方差不变的情况下，各变量相关性越高，则总信息量越小Dept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPH两组变量: A BDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPH协方差矩阵样本的方差-协方差矩阵（variance-covariance matrix) 如果有p个观测变量 ， 则样本的协方差矩阵记为Dept. of Epidemio Biostat, SPH相关矩阵 如果有p个观测变量 ，其相关阵（correlation matrix）记为Dept. of Epidemio Biostat, SPH矩阵的特征值和特征向量对于方阵A，如存在常数λ及非零向量x，使 Ax= λx 则λ为A的一个特征值，x为与λ对应的矩阵A的特征向量。 n介方阵有n对特征值和特征向量Dept. of Epidemio Biostat, SPH正交向量（阵）、单位向量正交向量： a=(a1,…,ap)’, b=(b1,…,bp)’ 如果a’b=a1b1+…+apbp=0,则称a、b正交单位向量：向量a=(a1,…,ap)’，如果 则称a为单位向量正交阵：n阶方阵A，如果 AA’=A’A=I，则称A为n阶正交阵，其中A的列向量（或行向量）为正交向量，A’=A-1Dept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPHDept. of Epidemio Biostat, SPH 主成分的概念1设x1,x2,…xp为 p 维随机变量 X1,X2,…,Xp的标准化变换 如果其线性组合 满足则称C1为第一主成分。Dept. of Epidemio Biostat, SPH主成分的概念2若满足则称C2为第二主成分。类似地，共可得到至多 p 个主成分。Dept. of Epidemio Biostat, SPH主成分的性质主成分 C1，C2，…，Cp 具有以下性质：(1)主成分间互不相关Corr(Ci，Cj)=0i ? j (2) 组合系数(ai1，ai2，…，aip)构成的向量为单位向量(3)各主成分的方差是依次递减的， 即Var(C1)≥Var(C2)≥…≥Var(Cp) (4) 总方差不增不减， 即 Var(C1)+Var(C2)+ … +Var(Cp) =Var(x1)+Var(x2)+ … +Var(xp) =p Dept. of Epidemio Biostat, SPH主成分的计算 1设 R 为 X1,X2,…,Xp 的相关矩阵，则存在?1≥?2≥…≥?p≥0，和正交矩阵A，使其中?i为相关矩阵R的第i个特征值(eigenvalue)(ai1 ai2 … aip)’则是相关矩阵R的第i个特征值对应的特征向量。 ?i是第i个主成分的方差Dept. of Epidemio Biostat, SPH主成分的计算 2记主成分C=(C1 C2 … Cp)’，则 C=A’x即Dept. of Epidemio Biostat, SPH主成分的计算 3因子模型（全分量模型）表达形式 x=AC即矩阵A称载荷矩阵，反映各主成分对原始变量x各分量的贡献大小。Dept. of Epidemio Biostat, SPH主成分的计算 4因子模型（全分量模型）表达-- 主成分标准化变换Dept. of Epidemio Biostat, SPHx=Lclij是xj和ci的相关系数SPSS输出的系数矩阵是L矩阵Dept