Web聚类技术及其在搜索引擎中应用.pdf

y 746198 Web聚类技术及其在搜索引擎中的应用 计算机软件与理论 研究生李战胜指导教师杜亚军 摘要 搜索引擎是当前研究的热门技术之一，用户通过输入查询词来获取搜索结 果，从而能够在海量的互联网资源中获取有用信息。然而，当前搜索引擎返回 的搜索结果数目非常庞大，要从这么多的结果中找到有用信息，有时显得很困 难。如何更好地显示搜索结果，更好地帮助用户找到自己感兴趣的信息，是本 文所要研究和解决的问题。 ’ 幸运地是，利用聚类技术对搜索结果按主题聚类，将很好地表现搜索结果。 显然，传统的聚类技术一般都是针对数值数据进行的；而对于文本数据，尤其 是Web文档类型的数据，需要新的能够处理高维、实时的聚类算法，并在文本 特征提取和时间复杂废方面有更高的要求。 本文提出的新的聚类算法MyCluster是基于短语和潜在语义索引基础上的 针对搜索结果的模糊Web聚类算法。在MyClustcr聚类算法中采用由多个有序 词构成的短语来建立文档特征向量，雨不是传统方法上用单个词来建立，这样 可以有效地避免数据噪音的干扰，而且还可以明显地降低特征矩阵的维度，缩 减计算时间。Web文档特征矩阵的建立将涉及Web文档的下载和解析、关键短 语和非关键短语的识别和中文分词等关键技术。 Web聚类结果由类标签和类内容构成。每个类标签都对应着许多类内容， 即搜索结果。每个类标签代表着一个主题，显然类标签的可读性，也即主题鲜 明，将直接影响用户查找信息的命中率。当然，类内容是用户获取最终信息的 入口，它与类标签的相关性就很重要。我们采用线性代数中奇异值分解方法来 发现类内容和归纳类标签，使类内很相似，类间不相似，而且类内容很好地关 联了类标签。对形成的类标签和类内容，采用合并和排序策略，将很好地修正 聚类结果。 算法的聚类搜索Bl擎框架及聚类结果评价体系．实现聚类搜索引擎的过程中将 用。我们的聚类结果评价体系通过类标签的可读性、类内容的相关性、类内容 覆盖率和类重叠度等指标，来综合评价一个算法质量的好坏。 通过对比实验，我们发现MyCluster在类标签可读性和类内容相关性方面 有很大地优势，但在类内容覆盖率方面有所欠缺，希望未来将能有所改进，并 在增量聚类等方面作进一步的研究。 关键词：聚类搜索引擎，Web搜索结果聚类算法，奇异值分解，MyCluster II Abstract ofsearch isahotinIR usef Currently．thetechnologyengine research．Only,a can fl and somesearch that canrealizethedreamof results，so inputqueryget they numsearchresultsis informationfrom total of theuseful Interact．But，the getting inthose isdifficultforuserstofindthe informationresults． it useful