2012年5月10日实验室LSI矩阵分解CUDA技术.pptVIP

2012年5月10日 @实验室 LSI、矩阵分解、CUDA技术 讲个例子，看看理解对不对 LSI (Latent Semantic Indexing)隐语义索引 设Doc1, Doc2, Doc3是三个文件. 一些术语在这三个文件中的出现情况如下表:??????????????????? Doc1??????Doc2???????Doc3-------------------------------------------------------access???????? X document???? Xretrieval??????? X?????????????????????????? ?Xinformation???????????????????? X*?????????????X*theory???????????????????????????? Xdatabase???? Xindexing????? Xcomputer????????????????????? X*???????????? X*------------------------------------------------------- 这里, 假定用information 和computer作为主题词进行检索, 那么Doc2和Doc3与之精确匹配, 因而中选. 然而, Doc2是用户并不想要的文件, Doc1才是想要的查不出来. 继续1 首先, 以术语(terms)为行, 文件(documents)为列做一个大矩阵(matrix). 设一共有t行d列, 矩阵名为X. 矩阵的元素为术语在文件中的出现频度. 数学上可以证明: X可以分解为三个矩阵T0, S0, D0(D0的转置)的积. 其中T0和D0的列向量都是正交归一化的, S0是对角矩阵. T0是t*m矩阵, S0是m*m矩阵,D0是d*m矩阵,m是X的秩. 这种分解叫做单值分解(singlar value decomposition,简称SVD).X=T0*S0*D0一般要求T0, S0, D0都是满秩的. 不难做到把S0的元素沿对角线从大到小排列.现在, 把S0的m个对角元素的前k个保留, 后m-k个置0, 我们可以得到一个新的近似的分解:Xhat=T*S*D Xhat在最小二乘意义(?)下是X的最佳近似! 这样, 我们实际上有了一个降维的途径 继续2(?) 做“正向”乘法:Xhat * Xhat’ = T * S * D’ * D * S * T’ = T * S^2 * T’(D’ * D = I, 因为D已经是正交归一的). 它的第i行第j列表明了术语i和j的相似程度. 做“逆向”乘法:Xhat’ * Xhat = D * S * T’ * T * S * D’ = D * S^2 * D’(T’ * T = I, 因为T已经是正交归一的). 它的第i行第j列表明了文件i和j的相似程度. 比较一个文件和一个术语恰巧就是Xhat本身. 它的第i行第j列表明了术语i和文件j的相关联程度. 我的理解 把一个大矩阵拆解成简单矩阵 把两个大矩阵计算变成简单矩阵间的计算 SVD(singlar value decomposition)NMF(Non-negative Matrix Factorization ) 我的理解1 SVD分解——拆解为：两个相互正交矩阵和一个对角矩阵 QR分解——拆解为：一个正交矩阵和一个上三角矩阵 LU分解——拆解为：一个上三角矩阵和一个下三角矩阵 Cholesky分解——(?) NMF分解——拆解为：两个非负矩阵 。。。 我的问题： 是不是存在某种分解是基于另一种分解的？ 比如先拆成两个矩阵，再把其中某个再拆解。 或者.. 我的理解2 我目前遇到的应用： 图像降维重构(?) 数据挖掘算法：聚类k-means 文本挖掘 社会网络分析 矩阵分解的具体算法 还没有学习。 海洋和远帅希望能做补充。 比如对稀疏（sparse）和密集（dense）矩阵不同的算法。 我的工作 矩阵分解并行计算——概况 常用的线性代数数学库 基于多核多处理器以及机群的数学库 基于GPU并行加速的解决方案 常用的线性代数数学库 BLAS——Basic Linear Algebra Subprograms(Fortran) 一个最基础的库，其他软件在对它进行优化 ATLAS——Automatically Tuned Linear Algebra Software(C and Fortran) 对BALS加强，提供更加灵活的接口 LAPAC