基于表格语义的Ｗｅｂ信息抽取方法的研究.docVIP

基于表格语义的Ｗｅｂ信息抽取方法的研究 　　摘要：在Web页面常用到表格这种元素。本文提出一种根据表格语义来进行信息抽取方法。首先提出了一种短语语义相似度的度量方法，然后利用短语语义的相似度确定表格标题行（列），并对表格行（列）与抽取字段的对应关系进行计算，最后计算表格的整体语义，度量该表格与所要抽取的内容有多大相关度。 　　关键词：Web信息抽取；表格；短语语义 　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2008)12-20ppp-0c 　　 　　A Research on the Method of Web Information Extraction Based on Table Semantic 　　YU Cheng-Jian 　　(Computer Engineering Dept. of Guangzhou City Polytechnic, GuangZhou 510405,China) 　　Abstract: The table tag is often used in web page. In thispaper a method of web information extraction is presented which is based on table semantic. First, a method for calculating semantic likelihood between two phrase is carried out. Then use the likelihood to determine the title row or column of the table, the correlation between titles and fields is determined at the same time. Base title of the table, a simply method is presented which can be used to calculate correlativity between this table and what we wanted to extract. 　　Key words: web information extraction; table; phrasal semantic 　　 　　1 引言 　　 　　互联网是一个信息的海洋且高速增长。互联网已成为人们获取信息的重要来源。互联网上的信息是海量的、动态的、分布的和非结构化的。在带给我们丰富的信息的同时，也给我们有效而准确地查找信息带来了不少困难。Web信息抽取就是从网页中抽取人们所需要的信息，已成为研究热点。本文针对Web页面大量使用表格(TABLE)元素这 　　一现象，提出一种根据表格的语义进行信息抽取的方法。 　　 　　2 研究的思路 　　 　　在互联网上存在大量的商务信息。抽取信息并进行分析对于商业竞争有重要的意义。根据有关文献的总结，按抽取所采用的原理和方法的不同，可以将信息抽取方法分成五类：基于自然语言处理方式的信息抽取、基于包装器归纳方式的信息抽取、基于ontology方式的信息抽取、基于HTML结构的信息抽取和基于Web查询的信息抽取。 　　通过对大量的Web页面进行观察发现，表格（TABLE）元素被大量使用，粗略分析进来，应该有两个原因：一、用表格来布置界面。Web页面是一种纯文本文件。各元素在页面中的显示位置没有显式的说明，而是依赖于客户端（浏览器）根据各元素的顺序及大小依次排定。虽然一些标志有一定的定位作用，比如： 　　和 可以强制分行，可以实现的层位置可以较随意。但相对于其它语来说，排版的功能相当有限。为了内容组织和页面美观的需要，大量的Web页面使用了表格元素。二、便于意义的表达。用表格来表达产品的特性，直观、简洁明了，便于用户阅读。这样做有以下几个优点：顾客浏览方便；同类商品可以使用同一模板，网站的开发方便；便于与后台的数据库对应。 　　HTML语言是一种基于标志的语言，与表格相关的标志有三个：、和。很自然会想，能不能通过这些标志来抽取信息呢？显然，仅根据表格的标志元素来抽取信息，适应性不好。因为这种方法往往要借助于模板，如果页面改变，需要重新定义。 　　通过分析人在阅读表格的一些思维过程发现，有两个因素帮助人们理解一个表格：一方面是表格的形式，行和列的对应关系，这从直观的角度告诉人们这一表格所展现的内容各个字段的关系。另一方面，每一个格中内容的含义也帮助人们判断表格的语义，帮助人们表格内容的理解。 　　要解决好基于表格的Web信息抽取系统必须解决好以下几个问题： 　　（