基于DOMWeb信息抽取方法研究.docVIP

基于DOMWeb信息抽取方法研究 　　[摘要]以往基于DOM的Web信息抽取方法在信息抽取过程中存在如需要较多样本集、适应性较差等问题，为解决Web上的信息在抽取中存在的问题，本文提出了一种在原有基于DOM的Web信息抽取方法的基础上引入竞争分类方法进行信息抽取。 　　[关键词]Web信息抽取 DOM 抽取规则 竞争分类 　　中图分类号：TP3 文献标识码：A 文章编号：1002－6908（2007）1020067－01 　　 　　一、引言 　　 　　随着Internet的迅猛发展，Web已经成为全球传播与共享科研、教育、商业和社会信息等最重要和最具潜力的巨大信息源。与传统的信息资源相比，Web上信息资源有着分布性、异构性、开放性、动态性和庞大性等特点，这些特点导致Web上数据的信息接口和组织形式各不相同、使得Web上的信息资源不能被有效的利用。因此出现了很多基于Web 信息源的技术和应用，其中信息抽取技术是当前研究的一个热点。 　　信息抽取（ Information Extraction , IE）的目标是把文本里包含的信息进行结构化处理，变成表格一样的组织形式。输入信息抽取系统的是原始文本，输出的是固定格式的信息点。把信息点从各种各样的文档中抽取出来，然后以统一的形式集成在一起，这是信息抽取的主要任务。 　　DOM(Document Object Model，文档对象模型)是一种供HTML和XML文档使用的应用程序编程接口(API)，定义了文档的逻辑结构以及访问和操作文档中各个部分的标准方法。DOM树是XML文档的逻辑表示， 包括根元素(Document Element)和节点(Node)。Node是DOM中最基本的对象，Node对象通过继承关系形成一棵DOM树，它包含了XML文档的几乎全部信息。各种类型的Node对象都继承基本Node对象的属性和操作，同时又有各自特殊的属性和操作。#text是DOM中由系统创建的虚节点,用于指定XML文档中的文本的节点类型。 　　一般来讲，基于DOM的信息抽取方法需要大量标注样本的学习来生成规则。编制规则和标注样本需要用户的大量参与，系统的适应性较差。本文引入竞争分类法，在原有DOM的方法的基础上从竞争分类角度抽取Web页面信息，这样不仅可以使用户标记样本的数量较少，而且还能保持较高的抽取准确率，以及具有较好的健壮性。 　　 　　二、基于DOM的信息抽取原理 　　 　　信息抽取技术的本质是从Web页面所包含的无结构或半结构的信息中识别用户感兴趣的信息，并将其转化为更为结构化、语义更为清晰的格式。Web信息抽取的形式化描述如下：对于给定的一组Web页S，定义一个映射W，W将S中的对象映射到一个具有更为结构化、语义更为清晰的数据结构D(如XML或关系)，并且映射W对与S在语义和结构都相似的Web页集合S具有相同的功能。由此可知，Web信息抽取技术的关键点就是如何定义并生成映射W。 　　基于DOM的Web信息抽取的工作流程如图1所示，分为3个阶段：附加语义，样本学习和信息抽取。 　　(一)附加语义：附加语义有人工和自然语言理解两种方式，本文采用前者。人工附加语义的实质就是用户根据自己对网页内容的理解，创建反映网页内容的语义概念模式，作为样本学习阶段的输入。 　　(二)样本学习：学习如何对网页中的语义项和对象进行定位。通过学习样本，在语义项与Web网页中的数据项之间建立映射关系，而这种映射关系是通过用户对网页中的相关数据项的标记操作建立起来的，本文将这种映射关系称为抽取规则。 　　(三)信息抽取：利用样本学习产生的抽取规则对DOM树中节点集合定位某些符合要求的节点，这实质上就是通过定位节点的位置以及对节点的内容和显示特征的判断，实现信息抽取。 　　 　　三、竞争分类法抽取Web信息的总体框架 　　 　　Web页面信息可分为显示信息和解释信息。将标记分隔开的显示信息称为信息片段，从分类的角度看，Web信息抽取就是判断信息片段类别的分类过程：Web页面在含有抽取内容的同时，也含有无须抽取的内容，信息抽取首先需要判断哪些是要抽取的信息，哪些是无须抽取的信息，即将信息片段分为目标信息和噪声信息两类。其次，信息抽取还要将目标信息放入信息模板槽( slot)中，在分类中，这是一个加上具体标签的过程。 　　一般来讲，分类是训练和测试的两阶段过程。用分类法实现Web信息抽取也有这样的两阶段，如图2所示。 　　分类中，以信息模板中的每个槽作为一个类别。在训练阶段，先由用户在样本网页中指出目标信息片段所对应的信息槽，即标记其类别。然后，用特征抽取算法构建这些信息片段的特征，将信息片段表示成特征量，与类别信息一起存入数据库，形成样本特征库。在测试阶段，当一个新页面需要