技术_SVD与LDA规范.doc

SVD与LDA 一、矩阵的奇异值分解(Singular Value Decomposition，SVD） 1. 矩阵的奇异值定义 设C是M x N实矩阵，称n阶方阵CTC的非0特征值的算术平方根为矩阵C的奇异值。 2. 矩阵的奇异值分解定理 SVD（Single Value Decomposition），即奇异值分解，是潜在语义索引的理论基础。它是线性代数中有关矩阵分解的一个理论。设A是秩为r的m(n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得 （）U、S和V分别为m(m、m(n和n(n维的矩阵。矩阵U的各列为AAT的特征向量，矩阵V的各列为ATA的特征向量。且矩阵AAT和矩阵ATA的特征值均为(1,… ,(r（(i0，i=1,2,…,r），设 ，则。即矩阵S为对角阵，S中的对角元素称为奇异值。图1给出了一个奇异值分解的示例。 图1 SVD分解图示 Fig. 1 An example of SVD SVD分解能被用来计算最优的low-rank approximation，即SVD分解能得到原矩阵的最优低阶近似。这转化为一个近似问题，即：找到秩为k的矩阵Ak，使得