基于网页结构与链接关系的中文文本分类方法.docVIP

基于网页结构与链接关系的中文文本分类方法 　　摘 要:提出一种通过综合考虑网页的HTML结构信息以及网页间的链接关系,修改网页文本在向量空间模型表示中的权值,对网页进行分类的方法。考虑到页面里处在不同HTML标记下的内容具有不同的语义含义,某些特殊标记下的内容具有较重要的意义,对网页的分类起较大的作用,因此对不同标记下的内容赋以不同的权值,可以提高分类效果。考虑到页面正文中链接指向的页面内容与原网页相关度较高,通过综合考虑这些页面的内容,可以有效加强类别关键词的权值,减少噪声,提高分类效果。经过实验证明这一方法提高了分类结果的F1值。关键词:中文文本分类;HTML结构; 链接关系; 向量空间模型 　　中图分类号:TN911-34; TP391 文献标识码:A 　　文章编号:1004-373X(2010)22-0054-03 　　 　　A Novel Chinese Text Calssification Method Using Webpage Tags and Hyperlinks 　　GUO Xiao, JIANG Zong-li 　　(College of Computer Science, Beijing University of Technology, Beijing 100124, China) 　　Abstract: A webpage classification method using the HTML tags and hyperlinks to improve the vector space model representation is introduced. Because the content in different HTML tags has different semantic meaning and plays different role in webpage classification, assigning weights to the content by the importance can improve the classification accuracy. In addition, to better model the webpage for classification, combining the information provided by the webpage that are referred in the body of the original webpage, considering they are relevant and can enhance the weights of relevant words and reduce the weighs of irrelevant words. The experimental results demonstrate that the proposed method effectively improves F1 measure. 　　Keywords: Chinese text calssification; HTML tags; hyperlinks; vector space model 　　收稿日期:2010-06-19 　　 　　随着计算机技术、通信技术等信息技术的高速发展,以及互联网基础设施建设与网络信息工具的大量推广应用,网络上的信息正在以几何级数进行着增长。如何使用户能够方便地从网络上海量的信息资源中获得其期望的部分,成为了当前信息领域重要的研究课题。 　　网络搜索引擎,是用来进行网络文本索引的一种重要手段,是针对网络中大量网页文本信息进行信息挖掘的有效手段。在网络搜索引擎的构建中,网页文本分类问题是一个关键性的核心问题。高质量高效率的网页文本自动分类,对构建高效、实用的搜索引擎起着重要的作用。同时在解决主题搜索、个性化信息检索、搜索引擎的目录导航等相关问题时,网页文本分类技术也是十分重要的。因此研究如何提升网页文本分类性能,对研究新一代搜索引擎有着重要意义。 　　1 网页文本分类技术简析 　　网页文本分类是指按照预先定义的主题类别,根据海量网页文档的内容,确定相应网页的类别。 　　目前,网页文本分类采用的技术基础是基于内容的纯文本分类。基本方法是,在抓取到的网页集合中,对每篇网页文本进行纯文本的内容抽取,得到相应的纯文本文档。再将抽取出的纯文本组成新的文档集合,在新的文档集合上应用纯文本分类算法,进行分类。再根据纯文本和网页文本的对应关系,对网页文本进行分类。即应用网页的纯文本内容信息,对网页进行分类。 　　上述方法的本质,是将网页文本的分类问