基于XML的Web信息抽取研究-计算机应用技术专业论文.docxVIP

摘要 摘要 基于 基于 XML 的 Web 信息抽取研究 -I- -I- - - PAGE IV- 摘 要 随着互联网的迅速发展，Web 上信息量急速增加，Web 已经发展成为一个巨 大的分布和共享信息资源的平台，如何从中获得想要的信息成为亟待解决问题， Web 信息抽取技术由此产生。Web 信息抽取是从已经存在多年的信息抽取技术中 繁衍出来的，它继承和发展了信息抽取领域的一些关键技术，并结合 Web 页面 自身的特点，它是把互联网上存在的网页作为信息源，从中抽取用户感兴趣信 息的过程。 可扩展标记语言 XML 技术的出现，为 Web 的信息抽取和应用提供强有力的 支持。我们可以把页面文档解析成 DOM 树的结构，对页面的操作转化为对 DOM 树的处理，然后采用 XPath 路径表达式定位 DOM 树中节点；XSLT 是 XML 文档的 转换语言，有了它我们可以对已知 XML 文档编写抽取规则，实现 XML 文档与 Web 页面的转换。 本文结合 XML 技术优势实现对 Web 网页的信息抽取，构建了一个基于 XML 的 Web 信息抽取系统，提出了基于最小 DOM 树的信息定位方法。本文首先将待 抽取的 Web 页面通过工具 HTML Tidy 进行优化，将 HTML 文档转换成符合 XML 语法的 XHTML 文档，然后采用 DOM4J 软件包在 JAVA 平台下将 Web 页面解析为 DOM 树结构；依据信息模型和知识库提供的文本，对 DOM 树中的文本进行匹配， 当匹配程度大于设定的阈值时，我们可以认定当前页面中包含要抽取的信息， 将返回匹配成功的信息的 XPath 路径并存入信息路径表；根据信息路径表获取 最小 DOM 树的路径，生成针对当前站点的抽取规则；把抽取结果存储为 XML 文 档格式，在已知抽取结果 XML 文档的基础上，根据应用的需要，利用 XSLT 生成 针对 XML 文档的抽取规则，在兼容 XSLT 的浏览器上都可以运行显示。 本文的信息抽取系统目标并不是构建一个通用的信息抽取系统，而是针对 某一领域或者说是针对某一类的信息构建的抽取系统，需要系统的构建者制定 抽取领域的信息模和建立对应的知识库。在本文的实验室中，针对某一网站的 招聘信息进行抽取，建立了简单信息模型和知识库；根据获取的最小 DOM 树的 XPath 路径生成抽取规则，并把抽取结果存储为格式良好的 XML 文档。 关键字：信息抽取,Web,XML,DOM 树,XSLT Abstract With the explosion of Web, the rapid development of the Internet has become an important source of global information dissemination and sharing, how to get the piece of information what we want from the web has bee become a serious problem， Under this background，technique of web information extraction occurs. I t is inherited from Information Extraction technique that came into effect many years ago. What’s more, it inherits and develops some key techniques of information extraction field, and combined with the characteristics of web pages. The internet is the source of web information extraction system which extract the information users interest in. XML came forth and became factual criterion to express internet information ,it provides many supports to the extraction technique of Web information. To build DOM tree, based on standard XSLT XPath , we can locate the information and produce the general rules. This paper apply st