基于多特征的网页内容提取研究.pdfVIP

基于多特征的网页内容提取研究 李连霞 马军 陈竹敏 山东大学计算机科学与技术学院，济南，250061 摘要：网页内容提取对Web中的Hub型网页和主题型网页有不同的含义。对前者是找到该 网页中非噪音内容的主要链接；对后者是发现描述网页主题内容的文本以及相关链接。网页内 容提取的质量将直接影响到信息检索的查全率和查准率，以及对网页分类／聚类的质量。文中 提出了基于多特征的网页内容提取算法。该方法的特点是具有鲁棒性和适用于对海量网页的主 题内容提取。实验表明，新算法在处理形式各异的网页内容提取中，在提取正确率等指标上明 显优于目前已知的方法。 关键词：内容提取；网页净化；内容划分；网页分析 1．引言 目前的Web页面绝大多数是由HTML语言编写，一般分为正文区、相关链接区和“噪 音”区，如广告、装饰、导航和版本等信息。网页内容提取对Web中主要由链接信息组成 的Hub网页和有主题的网页有不同的含义。对前者是提取出该网页中主要表达链接的锚文 本；对后者是提取出描述网页主题内容的文本块以及相关链接的锚文本。以下简称主题块。 对该问题已经有了许多的相关研究。文献[1]中提出基于模板去除噪音来提取主题块的 object Model)树结构，则噪音内容可以通过模版的匹配发现并能去除。文献[2】中提出采 用机器学习方式生成网页集的模板，依据模板的提取规则对网页主题信息进行提取。但该 方法只对模板型网页集(通常为网站)效果显著，不具有通用性。文献[6]根据TABLE等 容器标签将网页分成若干内容块，并将信息量最大的一一块作为正文块。文献【8]则是根据标 签将网页分块，再根据启发式规则处理各个块，找到主题块，但其分块效果较差。 基于视觉的分块方法(VIPS)的出现，启发了许多研究者采用视觉信息进行网页去噪。 文献[9】中提出了VIPS的概念及规则，为这个算法的实现提供了理论依据。文献[5]利用网 页的可视布局信息对页面进行划分，将网页分为5个部分，提取中部信息为主题内容区， 这种方法对网页的分块太过硬性。文献[10]提出了根据浏览器显示的原理得到页面每个元 素的位置坐标并进行分析的方法，但利用的规则较少。 本文在总结以往论文的研究的基础上，提出了基于多特征的，利用统计概率的网页内 容提取方法，简称MFM(Multi．Feature Model)。文中给出了如何基于统计概率对特征进行 量化处理的方法。MFM可以克服单一方法的局限性、网页结构的复杂性和不同网页的差 异性。实验表明，新算法在处理大量类型各异的网页中，明显优于目前已知的方法。 资助项目：国家科技支撑计划(2006BAH02A29)子课题 联系作者：李连霞，E-mail：llxl02@126．com：马军，E-mail：majun@sdu．edu．cn II 多媒体内容分析与检索 103 导航信息—_七兰茧螽捉!里竺 ：：：!：：!：：：二：：：：：：=釜三 图1 典型网页的各个语义块 主题块的特征发现 通过对以往文献的研究和实验观察可以发现：(1)一般网页可以分割为多个语义块【9J， 语义块视觉上成为一块，内容相关，符合语义约束，而主题块就是其中的一块或多块，图 1给出典型网页通过VIPS划分为语义块的结果；(2)网页虽然内容各异，版面千差万别， 但网页的主题块通常有着相同的结构和视觉表现，我们称这些表现为特征。 对已有文献的研究和对目前Web网页的分析，总结得出了下面的主题块的特征，见表l。 表1主题块的特征 序号 特征 含 义 HTML网页中有一些特殊标签，通常只出现在网页主题块中，如PBR 1 特殊标签 等。因此，主题块中往往包含着特殊标签 2 文字大小 网页的主题块一般用较大字体表示 3 标点符号 主题块内容含有较多的句子，因