数据库中关键词的查询扩展分析.pdfVIP

摘要 数据库关键词的语义检索作为数据库关键词查找的一个重要研究方向，在近 几年己经得到了广泛关注。与精确查询相比，语义检索能够发现潜在的检索结果， 给用户返回更多的查询结果，用户也能够提供更加灵活的查询方式。潜在语义分 析(LSA)是一种广泛使用的近似查询处理技术手段，这种方法采用奇异值分解 (SVD)的方法分解词与文档的关联矩阵，通过低阶近似矩阵挖掘词与词之间的 潜在关系，利用余弦相似度来衡量查询语句(或文档)与文档之间的相似度。LSA 不仅满足了用户近似查询的需求，而且能够解决一义多词的问题，然而，LSA离 线奇异值分解时间和在线查询处理的执行时间非常高，并随着文档集规模增加而 显著增大，难以满足大规模数据集的需求。 本文围绕LSA离线处理效率以及在线查询处理效率问题展开研究，并提出相 应的解决措施，主要工作概括如下： 1．分析了影响在线查询处理效率的主要因素，基于分析结果文档的稀疏特 征提出了一种索引结构，用于存储SVD分解后词与文档在降维空间的紧密度。基 于结构索引，提出一种快速在线查询处理算法(IndexLSA)。理论分析表明，对 于相同的查询，IndexLSA与LSA能够返回相同的结果序列。 2．通过设置阈值来减少索引规模，生成一种剪枝索引。基于剪枝索引，进 而提出一种基于索引结构的在线查询处理剪枝算法。IndexLSA的在线查询时间 受索引规模的影响，通过设置阈值，剪枝索引可以将与词之间联系不够紧密的文 档从索引中“剪去”，从而大规模地减少候选集的规模，达到提高在线查询效率 的目的。理论分析表明，剪枝索引虽然带来了部分误差，但是误差对结果的影响 在可以预见的范围之内。真实数据集上的实验结果表明，IndexLSA不仅可以大 幅度地减少LSA的在线查询时间，而且具有较好的查询效果。 3．结合链接聚类算法，提出了Link-LSA算法，并且将其与剪枝索引结合， 接关系，通过链接对文档实体进行相似度的衡量并将文档聚类成簇。Link-LSA 使用簇进行LSA处理。真实数据集上的实验结果表明，Link—LSA不仅大幅度地 减少了奇异值分解的时间，并且能够有效地提高LSA的召回率。Link—IndexLSA 则在在线查询处理上对Link—LSA进行了改进。 关键词潜在语义分析：剪枝索引：阈值；IndexLSA：链接聚类 中图分类号：TP31I．13 万方数据 Abstract indatabase search Asan researchdirection search，semantic important keyword inrecent with indatabasehasbeen concerned search， widely years．Comparedprecise can resultsandreturnthemto theother semanticsearchdiscover users，on potential canalso moreflexible Semantic hand，users provide queries．LatentAnalysis(