基于DOM的动态网页信息抽取方法.pdfVIP

2010年 第31期 SCIENCETECHNOLOGYINFORMATION oIT论坛。 科技信息 基于DOM 的动态网页信息抽取方法 王平根 (井冈山大学电子与信息工程学院 江西 吉安 343009) 摘【 要】动态网页是 Internet上重要的网页类型，它们通常是由网站的后台数据库通过某种通用的模板构成。本文在研究D0M技术与网 页结构 的基础上 ，根据动态Web页面的特点，提 出了一种基于DOM 的动态网页信 息抽取方法 ．并描述 了利用DOM技术实现动态网页信 息抽 取的算法。 关【键词 】DOM；动态网页；信息抽取；网页模板 O 引言 2．2 信息抽取 的步骤分析 动态 网页的信息抽取概括起来主要有 以下几个步骤 随着 Intemet的迅速发展 ，Web已经成为一个庞大而复杂 的信息 2．2．1 获取 网页并整理 仓库 。如何利用程序从海量的Web中快速抽取信息从而提高人们获 通过站点链接查找 Web页面会遇到两种 ．一是包含所需数据 的 取信息的效率变得越来越重要 。目前，互联网上绝大多数的Web页面 页面 ，二是包含所需数据的 目标页面 的超链接页面。对 Web站点的导 是动态网页 ，即Web中一类重要的信息网页是数据提供 网站的动态 航规则可以经过仔细分析 目标站点，结合所需数据的特点进行编写。 Web页面 ，它们通常是 由网站 的后 台数据库通过某种通用 的模板构 而整理是将数据源映射成XHTML。整理主要是以下三个方面：①为不 成 ，有十分相似的页面结构 ，例如搜索引擎返回的搜索结果 ，网上商店 成对的标记加上结束符 “／”，例如br加上结束符为br／；②为所有属 的商品信息页面等都是典型的动态网页。这类 网页往往数量巨大且 内 性值加上 引号 ，例如 ．ahref=http：／w／ww．w3c．org~上 引号变为a 容丰富，因而抽取工作非常有价值 ；同时这些页面中 自由文本数据少 ． href=”http：／／www．w3c．org”；⑧将 URL中所有的 “＼，换成 “／”。 网页结构化程度高 ，而其 中固定的文本数据很多。针对动态 网页的特 2．2-2 数据源解析 点，本文提出了一种基于文档对象模型 DOM 的动态 网页信息抽取方 就是将经过转换得到 的XHTML文档构造成 DOM树 ．将文档 中 法 。 的元素映射成DOM树 中的节点。解析的处理过程如下 ，首先找出网页 1 DOM技术与网页结构 中所有的开始标记 ，将其名称存入标记表 。接着逐次找出网页中每个 标记 ，并检查其是不是一个有开始标记与其对应的结束标记或者是注 DOM 是文档对象模型fdocumento4ectmode1)的简称 ，是 W3C为 释标记 ，如果是没有对应开始标记 的结束标记或者是注释标记 ，就删 在 内存 中建立 XML文档的树结构提供的一种标准规