文本聚类及其在Web社区搜索中的应用.pdfVIP

摘要 随着Web的不断发展和数据量的增加，Web用户越来越依靠搜索引擎来检索信 息。搜索引擎用户的行为分析表明不仅需要对结果进行排序，也需要为用户构造新 查询提供帮助和提示。Web社区可以为组织之间的合作和交流提供一个环境，针对 社区建立的搜索引擎可以提高社区用户检索信息的效率。本文的主要工作是利用文 本聚类重新组织搜索结果以提高Web社区信息检索效率并且利用聚类验证评估了 文本聚类算法的性能． 论文在研究Web搜索引擎现有技术的基础上分析了Web社区网站内容的特点。 指出只对结果进行排序的搜索技术在搜索结果较多的情况下不足以提供高效的检 索。考虑到Web社区网站内容存在初步的分类体系和具有自组织的特点，利用文本 聚类的方法对搜索结果进行重新组织，能够提高搜索结果的浏览效率，并且能够为 Web用户构造新查询提供帮助和提示。 在研究文本聚类的一般过程的基础上，论文深入分析了层次式k-平均，基于蚁群 智能和后缀树四种典型的聚类算法，提出用聚类验证评估文本聚类算法性能。分析 了聚类验证的外部标准、内部标准和基于信息熵标准，选择外部测试标准，利用标准 的分类测试集合Reuters-21578文本集合对k．平均、基于蚁群智能和后缀树聚类算 法进行了聚类验证。实验结果表明后缀树聚类算法由于在特征选择方面充分的考虑 了文本特性，引入短语特征而产生了较好的效果。 论文工作基于Web抓取器，Lueene全文索引部件构建了国家重点实验室 (ch．啪l曲)社区的搜索引擎系统，并且实现了按搜索结果出现位置分组的功能。对 Chinalab社区搜索的性能分析表明系统能够满足Web社区内的信息检索要求。论文 工作还实现了搜索结果的聚类，并且对搜索结果聚类进行了初步的性能评估．系统 性能评估表明搜索结果聚类提供了新的用户界面，能够为用户构造新的查询提供帮 助和提示提高了Web社区内信息检索的性能。 关键词：文本聚类搜索引擎信息获取VSM聚类验证文本挖掘web挖掘后缀 树聚类 Text andits in ClusteringApplication Web Search CommunityEngine Search services and in bcoomemoremole informationretrievalbecause engine important ofthe oftheWorldWideWebandtheincreaseofdata．Searchuser development engine as behaviorshowsthatitshoulduse体constructnew wellasrankthe survey help queries results are to ina tocollaborateonsame properly．Organizationsjoin community task, likely andSOcomes conslructedfor Call theweb the communit,／．SearchengiIles community help users