第四章矩阵因子分解.pptVIP

三 个矩阵有非常清楚的含义：第一个矩阵V中的每一行表示意思相关的一类词，其中的每个非零元素表示这类词中每个词的重要性（或者说相关性），数值越大越 相关。最后一个矩阵U中的每一列表示同一主题一类文章，其中每个元素表示这类文章中每篇文章的相关性。中间的矩阵则表示类词和文章类之间的相关性。因此， 我们只要对关联矩阵A进行一次奇异值分解， 我们就可以同时完成了近义词分类和文章的分类。（同时得到每类文章和每类词的相关性） 这是一个矩阵，这里的一行表示一个词在哪些title中出现了, 一列表示一个title中哪些词。 例： SVD的结果 左奇异向量表示词的一些特性，右奇异向量表示文档的一些特性，中间的奇异值矩阵表示左奇异向量的一行与右奇异向量的一列的重要程度，数字越大越重要 将左奇异向量和右奇异向量都取后2维（之前是3维的矩阵），投影到一个平面上，可以得到 图上，每一个红色的点，都表示一个词，每一个蓝色的点，都表示一篇文档，这样我们可以对这些词和文档进行聚类，比如说stock 和 market可以放在一类，因为他们老是出现在一起，real和estate可以放在一类，dads，guide这种词就看起来有点孤立了，我们就不对他们进行合并了。按这样聚类出现的效果，可以提取文档集合中的近义词，这样当用户检索文档的时候，是用语义级别（近义词集合）去检索了，而不是之前的词的级别。 P143: 10(1); 12(1); 24(1) 作业: 定义1 设A?C m×n，若存在非负实数?和非零向量u?Cn， v?Cm，使得 Au= ?v, AHv=?u （*） 称?为矩阵A的奇异值。相应地， u和v分别称为A对应于奇异值?的右奇异向量和左奇异向量。 说明： 由（*）式得(AHA)u= ?AHv= ?2u ， (AAH)v= ?Au= ?2v 所以?2是AHA的特征值也是AAH的特征值, 而u和v分别是对应于?2的特征向量。所以有 设A?C m×n，rank(A)=r，设AHA的特征值?1 ? ?2 ?? ? ?r ? 0，?r+1= ?r+2 =?=? n =0，称 为矩阵A的奇异值。若?i0,称?i为A的正奇异值。 另一种定义： 定理1：正规矩阵A的奇异值等于A的特征值的模长。 证：根据正规矩阵的性质，知存在酉矩阵U使得 A=Udiag(?1, ?2,?,?n )UH, 其中?1, ?2,?,?n是A的特征值， 所以AHA=Udiag(|?1|2, |?2|2 ,?, |?n|2 )UH 所以A的奇异值为|?1|,|?2| ,?,|?n| # 定理2 （奇异值分解定理） 设A?C m×n，秩（A）=r，则存在m阶酉矩阵V和n阶酉矩阵U使得 其中?=diag(?1,…, ?r),且?1?? ? ?r0. 1.U的列向量是AHA的标准正交特征向量；（也称为悬挂矩阵） 2.U的前r列向量是AHA对应于r个非零特征值?12?，?r2的标准正交特征向量； 3.V的列向量是AAH的标准正交特征向量；（也称为对准矩阵） 4.V的前r列向量是AHA对应于特征值?12?，?r2的标准正交特征向量； 注记： 第二步： 令 U1=(u1 …ur), 计算 求矩阵SVD的算法 第一步： 计算 ，并计算特征值?1 …?n和对应的标准正交特征向量u1 …un，取U=(u1 …un) 注：根据这样的取法得 AAHV1=A(AHAU1)?-1=A(U1?2)?-1=AU1?=V1?2 即：V1对应于特征值?12?，?r2的标准正交特征向量 第三步： 求解线性方程组 的标准正交基础解系vr+1 …vm，令V=(v1,…vr,vr+1,... vm) 则U和V即为所求。 例 1 求下列矩阵的SVD分解： 解：第一步 矩阵AHA的特征值为3,1,0，对应的特征向量为 标准正交化得 第二步 令： 计算： 其中 第三步 解 ，得其基础解系为 从而 因此所求SVD为 例2 ：求下列矩阵的奇异值分解表达式 解:（1）计算AHA的特征值分别为5,0。 对应的两个标准正交特征向量 由这两个标准正交特征向量组成矩阵U （2）计算AAH 的特征值为5，0，0，所以A的奇异值为 。下面计算AAH的标准正交特征向量，解得分别与5，0，0对应的三个标准正交特征向量 由这三个标准正交特征向量组成矩阵V，所以有 于是可得奇异值分解式为 注：使用第二种方法时选取的U和V不唯一，他们的对应列之间相差一个符号，因此当分解式不成立时，需要调整相应的特征向量