数据挖掘原理与应用——以石油勘探开发为例 课件 8.4 SVD矩阵分析.pptxVIP

8.4SVD矩阵分析

SVD矩阵分析了解SVD当Term-DocumentMatrix创建完成，使用SVD算法进行矩阵分析SVD通过强调强的相关关系并过滤掉噪声来实现矩阵降维经过压缩后，少量有用的维度或语义模式被留下，大量噪声将被过滤掉

SVD矩阵分析SVD实现原理算法将矩阵分解成3个矩阵r=rank(X)=min(m,n)U：每个单词在语义空间的坐标VT：每篇文章在语义空间的坐标Σ表示Term-DocumentMatrix语义空间的有效维度是多少

SVD矩阵分析SVD实现原理在很多情况下，前10%甚至更少的奇异值的平方和就占全部奇异值平方和的90%以上前k个奇异值来近似描述矩阵一般取90%

SVD矩阵分析实例

SVD矩阵分析实例只取权重大的前几维，忽略噪声文档的第0维表示文档长度单词的第0维表示出现该词的文档数量中心化：每列都减去第0维均值形成稠密矩阵，增加内存和计算量避免中心化忽略第0维

SVD矩阵分析实例

SVD矩阵分析实例

SVD矩阵分析实例