基于改进LSA的文档聚类算法.pdfVIP

小 型 微 型 计 算 机 系 统 2009年 5月 第 5期 Jou rnal of Ch ine se Comp uter System s Vo l30 No. 5 2009 基于改进 L SA 的文档聚类算法 俞 　辉 (中国石油大学 计算机与通信工程学院, 山东 东营 25706 1) E - m ail: hu iyu @m a il. hdp u. edu. cn 摘 　要 : 提出一种基于改进潜在语义分析 M L SA (M od if ied L aten t S em an tic A na lys is) 的文档聚类算法. 采用新的特征提取方法 构建词 - 文档矩阵, 利用潜在语义分析对词 - 文档矩阵进行奇异值分解以达到垃圾信息过滤的目的, 同时使得向量空间模型中 文本的高维表示变成在潜在语义空间中的低维表示 ,缩小了问题的规模. 然后将共现数据对转换成概率统计模型来计算 , 提高 了聚类质量. 实验表明,本文提出的方法是有效的. 关 键 词 : 文档聚类; 潜在语义分析; 奇异值分解 中图分类号 : TP3 11　　　　　文献标识码 : A 　　　　　　文 章 编 号 :( 2009) D ocum en t C lu ster in g A lgor ithm Ba sed on M od if ied L a ten t Sem an tic Ana ly sis YU H u i ( In stitu te of C omp u ter C omm un ica tion Eng ineer ing, Ch ina U n iversity of P etro leum , D ongying 25706 1, Ch ina ) A b stract: Th is p ap er p rop osed a new a lgo rithm of docum en t c lu stering based on m od if ied la ten t sem an tic ana ly s is. N ew m ethod of fea tu re ex trac tion w as u sed to construc t w orddocum en t m atrix. L aten t sem an tic ana ly sis w h ich stem s from linear a lgeb ra p erform ed a S in gu lar V a lue D ecom p os ition of w o rd - docum en t m a trix, so tha t not im p ortan t info rm a tion w as f iltered, and the h igh d im ens ion rep re sen t of docum en t in V ec to r Sp ace M ode l w as changed to low d im en s ion rep resen t in laten t sem an tic sp ace. C ooccu rrence data w as changed to p robab ilistic m ode l by m od if ied la ten t sem an tic ana ly s is, the p erform ance of c lustering w as im p roved. Exp erim en ta l resu lt show s that the p rop osed c luster a lgo rithm is effec tive. Key word s: docum en t c lu stering; la ten t sem an tic ana ly sis; s ingu lar va lue decom p os ition 1　引　言 每一类假定一个模型 , 寻找数据对给定模型的最佳拟合 , 如