基于网页结构与链接关系的中文文本分类方法的论文.docVIP

　　基于网页结构与链接关系的中文文本分类方法的论文 摘 要:提出一种通过综合考虑网页的html结构信息以及网页间的链接关系,修改网页文本在向量空间模型表示中的权值,对网页进行分类的方法。考虑到页面里处在不同html标记下的内容具有不同的语义含义,某些特殊标记下的内容具有较重要的意义,对网页的分类起较大的作用,因此对不同标记下的内容赋以不同的权值,可以提高分类效果。考虑到页面正文中链接指向的页面内容与原网页相关度较高,通过综合考虑这些页面的内容,可以有效加强类别关键词的权值,减少噪声,提高分类效果。经过实验证明这一方法提高了分类结果的f1值。关键词:中文文本分类;html结构; 链接关系; 向量空间模型 　　中图分类号:tn911-34; tp391 文献标识码:a 　　文章编号:1004-373x(2010)22-0054-03 　　 　　a novel chinese text calssification method using ethod using the html tags and hyperlinks to improve the vector space model representation is introduced. because the content in different html tags has different semantic meaning and plays different role in portance can improve the classification accuracy. in addition, to better model the ation provided by the ental results demonstrate that the proposed method effectively improves f1 measure. 　　keyl tags; hyperlinks; vector space model 　　收稿日期:2010-06-19 　　 　　随着计算机技术、通信技术等信息技术的高速发展,以及互联网基础设施建设与网络信息工具的大量推广应用,网络上的信息正在以几何级数进行着增长。.如何使用户能够方便地从网络上海量的信息资源中获得其期望的部分,成为了当前信息领域重要的研究课题。 　　网络搜索引擎,是用来进行网络文本索引的一种重要手段,是针对网络中大量网页文本信息进行信息挖掘的有效手段。在网络搜索引擎的构建中,网页文本分类问题是一个关键性的核心问题。高质量高效率的网页文本自动分类,对构建高效、实用的搜索引擎起着重要的作用。同时在解决主题搜索、个性化信息检索、搜索引擎的目录导航等相关问题时,网页文本分类技术也是十分重要的。因此研究如何提升网页文本分类性能,对研究新一代搜索引擎有着重要意义。 　　1 网页文本分类技术简析 　　网页文本分类是指按照预先定义的主题类别,根据海量网页文档的内容,确定相应网页的类别。 　　目前,网页文本分类采用的技术基础是基于内容的纯文本分类。基本方法是,在抓取到的网页集合中,对每篇网页文本进行纯文本的内容抽取,得到相应的纯文本文档。再将抽取出的纯文本组成新的文档集合,在新的文档集合上应用纯文本分类算法,进行分类。再根据纯文本和网页文本的对应关系,对网页文本进行分类。即应用网页的纯文本内容信息,对网页进行分类。 　　上述方法的本质,是将网页文本的分类问题映射成为纯文本分类的问题。但是,由于网页文本是超文本标记语言(html),并非纯文本的自然语言。因此,这样的映射,不能很好地反映网页分类问题的本质。所以仅应用基于网页内容的纯文本分类方法,会对网页文本分类的准确率造成一定的不良影响[1]。 　　针对这个问题,目前已经有一些改进的技术。一类改进方法,是在对网页进行文本内容提取时,基于网页html结构信息,对提取出的纯文本的向量表示进行某些修改[2-4]。还有一类改进,是针对网页文本中的超级链接,利用不同页面间的链接关系进行分类。 2 html结构与超级链接综合的网页分类 　　本文提出以基于网页内容的文本分类为基础,综合考虑网页页面的html结构信息以及网页间的链接关系,对网页进行分类。考虑到纯文本分类技术的成熟性,仍然采取基于内容的纯文本分类方法作为网页分类的基础,再从网页文本向纯文本的转换过程中增加一个中间的步骤,即首先对网页文档进行页面结构和链接关系分析,生成待处理的中间文档集,再通过一定的算法将中间文档转化为纯文本,从而应用纯文本的分类算法进行分类。其核心思想是,将网页文档转化为纯文本,进而应用向量空间模型对纯文本进行表示并分类,