Web文档聚类的研究及系统实现.docVIP

Web文档聚类的研究及系统实现 　　摘要:在对文档聚类技术进行系统研究的基础上,实现了Web文档聚类系统,包括文档预处理模块、文档聚类模块、结果评估模块以及用户接口模块。实现了包括统计频数、反转频数并计算相应的频率以及权值等功能。分析研究了数据预处理、聚类算法以及算法效果评估,重点分析了k-means算法,并提出了实现方案,详细说明了各个模块的设计原理及实现方法。 　　关键词:文档聚类;频数;K-means;预处理 　　中图分类号:TP311文献标识码:A文章编号:1009-3044(2010)21-6066-02 　　Research of Web Document Clustering and Implementation 　　DONG Chun-zhao, CHEN Wei, LIU Bin 　　(Southwest Jiaotong University, Chengdu 610031, China) 　　Abstract: On the foundation of web clustering analysis, our group developed the web document clustering system, including data preprocessing module, document clustering module, algorithm evaluation module and user interface module. The system achieved computing the statistics frequency, reversal frequency, the frequency of corresponding word and the weight of corresponding word. We analyzed the data preprocessing, clustering algorithm and evaluation of the algorithm, especially analyzed the k-means clustering algorithm. We proposed the implementation ways, in addition, explain the design principles and way of implementation of each module in detail. 　　Key words: document clustering; frequency; k-means algorithm; preprocessing 　　1 研究背景及意义 　　随着信息技术的发展,数据挖掘技术已经得到了人们越来越多的关注和研究。在其中,聚类分析,作为数据挖掘的一个分支,在商务化、智能化中起的作用尤为重要。生活中到处都有聚类的影子,它离我们并不遥远,面对数以万记的信息资源,没有一个代替人类进行聚类的软件是行不通的。 　　所谓聚类,就是把一组杂乱无章的对象按照相似性归成若干类别,使得属于同一类别对象之间的距离尽可能小,而不同类别对象间的距离尽可能的大。Web文档聚类就是把网络中的文档按相似性归成若干类别,这样便可以实现对Web文档的有效筛选和管理。 　　2 系统的总体架构及各模块介绍 　　系统的总体框架图如图1所示,由下到上依次为文档来源层,聚类实施层,用户接口层。文档来源层主要是提供Web文档资源,聚类实施层是聚类系统的核心,完成Web文档聚类和结果评估,用户接口层是将聚类实施层的结果反馈给用户,以直观的图形化展现聚类的结果。 　　2.1 Web文档的获取 　　使用RSS阅读器Google Reader下载大量的新闻,并使用网页提取助手提取新闻正文,完成Web文档的获取工作,为后续模块提供数据来源。 　　提取正文的过程包括: 　　1) 去掉网页中的导航信息 　　2) 去掉HTML网页中的tag标记 　　3) 去掉不合适的文档或文档内垃圾数据 　　2.2 文档预处理模块 　　通常来说,Web文档数据只有一定的结构,甚至很多都没有结构,并且文本文档的内容是由英语等自然语言描述的,计算机还不能够智能的识别和理解这些语言。所以需要对如今网络上大量的Web文本进行相应的处理,提取文本的特征。 　　首先需要对文本文档进行预处理,包括排除出现频率很高但是对文章的理解并不会造成很大影响的含义虚泛的词语,例如 a,an,is,the等;排除在文本中出现频率很小的词;去除噪词提取词干,英文词要转换成他的词根,很多不同时态的实词要将其回归成原形。 　　① 去掉虚高频词 　　高频