正则表达式和XML配置文件相结合的数据提取苏秀芝.pdfVIP

计 算 机 与 现 代 化 　2009年第 9期 J ISUANJ I YU X IANDA IHUA 总第 169期 文章编号 :(2009) 正则表达式与 XML 配置文件相结合的数据提取 苏秀芝 ,楼新远 (西南交通大学信息科学与技术学院 , 四川 成都 6 10031) 摘要 :针对特定搜索引擎的实际需求 ,需要从网站中提取有效的数据作为它的数据源 。本文通过对网页内部结构的分 析 ,利用正则表达式与 XML 配置文件相结合的方法 ,建立了基于特定网页的框架和规则的数据内容提取方法 ,并加以实 现 。该方法成功运用到多个信息提取系统中 ,实现了高效 、准确的数据提取 。 关键词 :网页框架 ; 正则表达式 ; 数据提取 ; XML 中图分类号 : TP393　　　文献标识码 : A 　　　do i: 10. 3969 / j. issn. 2009. 09. 009 D a ta Ex traction U sing Regular Expression an d In tegra tion of XM L Conf igura tion F iles SU X iuzh i, LOU X inyuan ( School of Inform ation Science and Techno logy, Southwest J iaotong U n iversity, Chengdu 61003 1, Ch ina) Ab stract:A im ing at the actual dem and for a p articu lar search engine, it is needed to extract data from the W eb p age s for its data sou rce. Th is p ap er estab lishe s an app roach of data extraction ba sed on sp ecial fram ework ofW eb p age s and ru le s. It imp lem en ts the m ethod by analyzing the inner structure of W eb p age s, u sing regu lar exp re ssion s and the in tegration of XML configuration file s. The m ethod is successfu lly app lied to m any inform ation extracting system s, ach ieving efficiently and accu rately data conten t extraction. Key word s: fram ework of W eb p age s; regu lar exp re ssion s; con tent extraction; XML 0　引　言 In ternet的内容提取具有十分重要的意义 , 如何 从网页中提取高效 、精确的所需数据 , 已经成为一个 热门课题 。本文重点讨论一种可实现的 W eb 数据提 取方法 ,利用爬虫工具得到 u rl并分析其 内部结构 , 编写 xm l配置文件 ,执行相应的程序对其进行内容提 图 1　网络数据提取一般步骤 取 ,从而把结果存放在数据库中。而且存放到数据库