奇异值分解SVD.docVIP

目 录 1. 奇异值分解(SVD) 1 2．多变量线性回归 3 稀疏学习 5 高斯过程回归(GPR) 6 3．主成分分析(PCA) 7 KL展开 8 二维主成分分析(2DPCA) 13 鲁棒主成分分析(RPCA) 15 低秩表示(LRR) 15 4．因子分析 16 5．多维标度(MDS) 17 等距映射(Isomap) 18 6．聚类分析 19 基于图的聚类 21 拉普拉斯本征映射(LE) 23 7．典型相关分析(CCA) 25 8. 结构方程模型 27 9．方差分析 28 10．鉴别分析 29 线性鉴别分析(LDA) 30 11．局部保持投影(LPP) 32 12．局部线性嵌入(LLE) 34 13. 投影追踪(PP) 37 14．独立成分分析(ICA) 39 15．混合高斯模型(GMM) 42 1. 奇异值分解(SVD) Singular Value Decomposition (SVD) Any data matrix X can be represented as the product of three component parts: where is a matrix of variables that are uncorrelated with unit variance, is a stretching and shrinking transformation matrix, is an orthogonal rotation matrix. SVD in Linear Algebra Let be an arbitrary matrix. Let be a square, symmetric matrix with a rank of Let be the set of orthogonal p?1 eigenvectors with associated eigenvalues for the symmetric matrix , i.e., the singular values for the matrix We have where is the eigenvector with the eigenvalue for the matrix 奇异值分解定理 设是秩为的矩阵，则 这里，，称为的奇异值，与分别由矩阵与对应于本征值的本征矢量与所组成，即满足 并且与具有关系 其中，，。 Frobenius范数（范数） 设是秩为的矩阵，则的范数为 而的范数为 性质 设是秩为的矩阵，其奇异值分解式为 这里称为的奇异值，，与分别为矩阵与对应于本征值的本征矢量。 则 而且 称之为的谱范数（spectral norm），并定义的核范数如下： 注意， ，。 命题 矩阵在Frobenius范数意义下的秩最优逼近为 并且 命题 在谱范数的条件下，核范数是秩的凸包。 2．多变量线性回归 Regression Analysis Goal The information available from the independent variables is used to make our best guess about the value of the dependent variable . The regression model can be written as or, in matrix terms, Ordinary least square estimator: The Ordinary Least Square Estimator Properties: They are unbiased ––– that is, They are efficient. ––– that is, is the lowest variance estimator of b. Goodness of Fit The proportion of uncertainty in the dependent variable explained by the regression model. Problems with Applications Multicollinearity Heterscedasticity