基于HTML的信息抽取技术研究-计算机应用技术专业论文.docxVIP

摘 要 随着信息技术的飞速发展，浏览器技术得到了不断创新。但是不同浏览器之间 所带来的网页兼容性问题也变得愈发突出，网页兼容性问题已经成为制约开源软件 发展的瓶颈。目前几乎所有的网站都包含大量非兼容性网页元素，当用户通过不同 浏览器访问这些网站时，将会得到不同的显示效果。这种非正常显示严重打击了用 户的使用信心，甚至使部分用户不再使用开源软件。本文针对上述问题进行研究， 研究的主要内容有： (1) 在探讨 Web 信息抽取技术的基础上，根据 Web 页面的特征，分析其结构， 提出一种网页信息抽取的可行性方法——基于 HTML 树编辑距离的信息抽取方法。 该方法通过考虑 HTML 标签表现特性进而改进树编辑距离。根据 HTML 标签在浏 览器中所显示的数据对象的权赋予它们相应的不同节点值；通过两棵由 HTML 标签 组成的，对应页面中数据对象构成的带权节点树之间的比较，求得最大映射值来获 得其样式匹配。实验表明，该方法比简单树匹配方法更高效、更稳定。 (2) 从 HTML 解析技术入手，结合 Web 信息抽取技术，设计了一个自主开发的 HTML Wrapper 解析器方案，并对它的组成部分词典、词法分析器以及语法分析器 的设计做了详细研究。信息抽取详细方案的设计是本文的核心，其最大特色是抽取 规则的语料库设计和不同浏览器对 HTML 标签和属性支持差异解决方案的设计。该 方案的设计和应用可以更好地提取出那些产生兼容性问题的标签和属性，并将这些 标签和属性加以改正。 (3) 在上述工作的基础上，本文开发了相应的原型系统。该系统能够更好地完 成对网页不兼容信息的抽取和改正，是一款符合 HTML 4.01 规范的网页信息抽取和 测试系统。 关键词：网页兼容性；信息抽取技术；HTML Wrapper 解析器；DOM – I – Abstract Abstr act The browser technology has also been innovative as the development of information technology. While the issue of web interoperability among the different browsers has become increasing prominent, which has become the bottleneck of development of the open source software. Currently, a lot of non-interoperable web elements are added into webs; various display effects will be produced when users access these webs through a browser. The non-normal display will be used against the users confidence, which resulting in the consequences that open source software will not be used by users. The main contents of our study include: Based on the discussed Web information extraction technology and characteristics of Web pages, through the analysis of Web structure, a feasibility algorithm of Web information extraction - Information Extraction algorithm based HTML Tree Edit Distance- is produced. This method proposes an enhanced tree matching algorithm that improves the tree edit distance method by considering the characteristics of HTML feature.We assign different values for displaying the corresponding data objects in the browser.Pattern matching of HTML patterns is done by obtaining the maximum mappi