一种自动化的网页数据抽取方法(论文资料).pdfVIP

V01．6No．14 第6卷第14期2006年7月科学技术与工程 Jul．2006 Science and 2006 1671——1815(2006)14——2174-03TechnologyEngineering ⑥ Sci．Tech．Engng． 一种自动化的网页数据抽取方法 姜海洋伊明 赵孟 (河北燕山大学信息工程学院计算机软件与科学系，秦皇岛066004) 摘要数据抽取是当前网络飞速发展的背景下衍生的一类技术。简单介绍了数据抽取技术的发展和研究现状，并针对目前 数据抽取技术的不足提出了一种新的数据抽取方法，能够自动化地并高准确度地从网页上抽取数据。 关键词数据抽取等价类Wrapper 中图法分类号TP392．02：文献标识码B 随着Internet及其相关技术的飞速发展．国际互身的描述信息实现抽取，对网页结构的依赖较少。这 联网络已成为最大的信息集散地．无论对企业还是 种方法主要依赖一个定义了各个元素的抽取模式以 个人，Web逐渐成为最主要的信息来源。然而由于网 及它们之间联系的知识库。在抽取前需要将包含数 站数量过多以及由此带来的信息泛滥．使得有用信 据的记录块分隔开来．然后依次对每个记录块进行 息的获取越来越困难。为此．Web上出现了各种搜索 信息抽取。这种方法不依赖于任何结构和表现形式[1]。 引擎，但它们返回的结果往往数量很大、格式固定， 而且每次只能查到一个对象的各个指标．难以利用 造对象。不过。这事先需要构造一个完整的Ontology 它们．所以有必要提供一种网页内容自动抽取及使 库．而构造这样一个库要由专家花很长时间。而且， 网页数据结构化的方法来简化信息获取的过程和便 有时很多信息很难给出对应的Ontology。 于信息分析处理。应用数据抽取技术可以自动地把 1．3基于Wrapper归纳方式的信息抽取 所需的网页信息抽取出来．从而避免用户自己搜索 Wrapper实质上是针对某一特定信息源的数据 信息与节省时间。 抽取系统．由一系列的抽取规则以及应用这些规则 的程序代码组成。通常．一个Wrapper只能处理一种 1现有的数据抽取方法 特定的信息源。它更注重于文本结构和表格格式的 1．1基于自然语言理解方式的数据抽取 分析，针对性强，但可扩展性较差。由于一个Wrapper 自然语言处理技术通常用于自由文本的信息抽 只能处理一种特定的信息源[z，引．所以若从几个不同 取．即把文本分割成多个句子．对一个句子的成分进 的信息源中抽取信息．就需要一系列的包装器集。这 行标记．然后将分析好的句子语法结构和事先定制 样使得信息抽取的工作量巨大，同时也使其可重用 的语言模式匹配．获得句子的内容。基于自然语言的 性较差。 信息抽取技术缺点较为明显．抽取规则表达能力有 1．4以上三种方法的缺点 限．缺乏健壮性。达到全自动的程度较难，而且速度 上面这些方法都是线性的处理HTML文档．通 较慢．适用范围较窄。 过字符串模式定位到关键信息．而完全忽略了 1．2基于Ontology方式的信息抽取 HTML文档本身的结构和语法。而字符串模式有时 很难保证定位的精确性。 =f：Ontology的信息抽取主要利用了对数据本