利用分块重要度进行中文网页分类研究.pptVIP

第*页利用分块重要度进行中文网页分类的研究段昕山东大学计算机学院第*页引言互联网的发展和信息量俱增使得人们对于主题网页（以下简称“网页”）自动分类的要求越来越迫切。传统网页分类将整个网页看作一个原子单元进行整体处理，但是由于网页中一些“噪声”信息的存在，不仅增加了处理的复杂度，还影响了网页自动分类的效果，因而需要一种分类质量更高的网页分类方法。第*页网页分块网页中的信息并不都是具有相同的重要度的，比如大字标题就要比导航条更加引人注目。网页中的不同信息由于所处的位置、占据的空间大小或者内容不同而具有不同的重要度。所以，我们可以将网页按照内容分块，利用分块的一些特征来进行网页分类，从而提高分类的质量。第*页第*页网页分块方法（1）基于位置关系的分块法利用网页页面的布局进行分块，将一个网页分成上、下、左、右和中间5个部分,再根据这5个部分的特征进行分类；实际的网页结构要复杂得多，这种基于网页布局的方法并不能适用于所有的网页；这种方法切分的网页粒度比较粗，有可能破坏网页本身的内在特征，难以充分包括真个网页的语义特征。第*页网页分块方法（2）基于文档对象模型（DOM）的分块法添加标题找出网页HTML文档里的特定标签，利用标签项将HTML文档表示成一个DOM树的结构；添加标题特定标签包括heading、table、paragraph和list等；添加标题在许多情况下，文档对象模型不是用来表示网页内容结构的，所以利用它不能够准确地对网页中各分块的语义信息进行辨别。第*页网页分块方法（3）基于视觉特征网页分块法（VIPS）利用字体、颜色、大小等网页版面特征，根据一定的语义关联，将整个网页表示成一棵HTMLDOM树；单击此处添加小标题利用横竖线条将DOM树节点所对应的分块在网页中分隔开来，构成网页的标准分块；单击此处添加小标题每个节点通过一致度（DOC）来衡量它与其它节点的语义相关性，从而将相关的分块聚集在一起；单击此处添加小标题利用预先设定的一致度（PDOC）作为阈值控制分割粒度，当所有网页的DOC都不小于PDOC时，网页分割就可以停止了。单击此处添加小标题第*页网页分块重要度的标定利用网页的空间和内容特征可以对分块进行重要度的标注，共分为4个级别：01级别一广告、版权等噪声信息级别二导航条、网站目录等与网页标题相关性不大但有一定用处的信息级别三与网页主题一致但并不是十分突出的信息，如相关标题、标题索引等级别四大字标题、正文等网页中最突出部分的信息02第*页第*页实验为了检验利用网页分块技术进行中文主题网页分类的质量，我们将其与传统网页分类法进行了比较。选取政治、艺术、医药、体育、军事、经济、教育、交通、计算机、环境等10大类共计3000篇主题网页进行实验，其中训练集2000篇，测试集1000篇。第*页在进行特征提取时，采用了开方检验(test,CHI)特征提取法，计算特征项t和类别c的相关性如下：第*页01分类时采用SVM分类器，核函数采用径向基函数：02最通用的判定规则是采用高斯函数：第*页实验描述首先将整篇网页看作一个原子单元，在训练过程中，训练集实例经过中文分词和特征选取处理后被表示成向量形式，用来描述类别模式，在分类过程中使用。在分类过程中，一个待分类的中文网页，经过中文分词并表示成向量后，应用分类算法与训练过程得到的类别模式逐一比较，得到候选类别列表，然后同训练过程中得到的每个类别的阈值相比较，保留大于阈值的类别，并作为该网页的分类结果。第*页实验描述然后利用VIPS法对网页进行分块，并根据4条标准对分块进行标注，利用级别较高的分块提取文本，重复第一步工作，得到利用分块法的分类结果。第*页实验结果在分类系统中，查全率和查准率反映了分类质量的两个不同方面，两者必须综合考虑，表示为F1测试值。本实验用F1值来衡量最终的分类质量。其中：第*页传统方法分块方法查全率(%)查准率(%)F1(%)查全率(%)查准率(%)F1(%)政治93.41389.14391.22895.21092.44293.806艺术