结合聚类的潜在语义检索算法研究-计算机软件与理论专业论文.docxVIP

摘要潜在语义分析(Latent 摘要 潜在语义分析(Latent Semant ic Analysi S，LSA)是一种通过统计分析挖掘 出文档和词语之间潜在含义的经典算法，最初用于解决信息检索中的多义词问题。 潜在语义分析使用传统的向量空间模型来表示词语和文档之间的关系，应用SVD 矩阵分解技术对原始的语义空间进行压缩，将潜在的语义显现出来。然而在实际 应用中，潜在语义分析在计算效率和存储代价方面存在不足，不能有效地应用在 大规模的数据集上。针对该问题，本文提出了两种结合聚类的潜在语义检索算法 (Clus—LSA和LINK—LSA)：两种算法都是通过利用文档之间的结构关系对文档进 行聚类，成倍降低文档的个数；将簇代替文档进行LSA过程；最后将簇还原成文 档完成检索过程。不同之处在于Clus—LSA利用的是文档自身的引用信息，而 LINK—LSA则利用了文档的其他共同属性链接。在实验分析中发现，算法不仅降 低了时间和空间的代价，同时还利用到了文档之间的结构信息。从某种角度而言， 检索的结果既有文本的内容信息，同时还加入了文档的结构信息。 理论上，Clus—LSA和LINK—LSA都能够成倍地降低检索的时间和空间开销。 实验中证明了这一观点。在检索精准度方面由于加入了文档结构特性，对比传统 LSA算法，Clus—LSA和LINK—LSA的检索结果在精度上有所下降，但仍然在可接 受的范围内。 关键词：潜在语义分析，语义检索，信息检索，向量空间模型，奇异值分解，图 聚类算法 中图分类号：TP311．13 复旦大学硕士学位论文 Ab Ab stract Latent Semantic Analysis(LSA)is a technique using statistical analysis to dig out the potential meanings between documents and words，and it solves the problem of polysemy to some extent．Latent Semantic Analysis relies on the matrix decomposition method called Singular Value Decomposition to compress the original semantic space and dig out the potential semantic meanings．However due to the lack of the efficiency on both time and space，it cannot be applied on large data sets．In this paper,we propose two new semantic analysis algorithms called Clus．LSA and LINK-LSA which combine the clustering method and original semantics to make up the deficiency：first cluster the documents using structural relations，then use the original LSA algorithms on the clusters，and replace clusters to original documents on the results．Their difference is that Clus．LSA uses documents’citation information while LIKN—LSA USeS documents common attribute links．We find in the experimental study that the two algorithms not only reduce the cost on time and space， but also add structural information in the retrieval result． Theoretical analysis shows that Clus-LSA and LINK—LSA can reduce the cost on time and space-minimizing the constant exponentially．The experimental study proves it．Since they add the structural informatio