国外Web信息抽取研究综述.pdfVIP

图书馆学刊 2008年第5期 TUSHUGUANXUEKANNo．5．2008 画琊蚴岔癌幽承厨瑰缀园 龙丽庞弘粲 1 (华南师范大学经济与管理学院，广东广州50006) 【摘要]Web信息抽取旨在为人们提供获取网络知识单元的有力工具，以应对信息爆炸带来的严峻挑战。在回顾 Web信息抽取基本理论的基础之上，评述了web信息抽取主要研究内容的现状。并着重对web信息抽取的评价研究 和应用研究进行了介绍，以期有助于本研究继续向前发展。 【关键词]Web信息抽取信息抽取技术信息抽取评价综述 【分类号]G202 随着Intemet的迅猛发展，万维网逐渐成为信息发布和获 ①将Web网页进行预处理。 取的主要平台，其上数据一直呈几何级数增长。目前80％的网 ②用一组信息模式描述所需要抽取的信息。 页属于隐藏网页(此类网页是由后台数据库生成)，而搜索引 ③对文本进行合理的词法、句法及语义分析。 擎无法从此类网页中获取数据。但通过信息抽取就能将这些 ④使用模式匹配方法识别指定的信息模式的各个部 信息收集起来，用结构化形式储存。方便揭示和查询。成功的 分。 信息抽取系统将把互联网变成巨大的数据库，同时对于我们 ⑤进行上下文分析和推理，确定信息的最终形式。 提高索引和搜索引擎的效率也具有研究意义。 ⑥将结果输出成结构化的描述形式以便由网络集成系 笔者对Web信息抽取的基本理论和研究内容的几个主要 统进行查询分析。 方面进行了综述，并重点分析了当前WebY言息抽取系统的比 1．2．2 Web信息抽取的中心——包装器 较和评价。 器是一种软件过程，这个过程使用已经定义好的信息抽取规 1基本理论 则，将网络爬虫搜集到的Web页面的信息数据抽取出来，转换 1．1信息抽取 为用特定的格式描述的信息。一个包装器被认为是一个程序 关于信息抽取的概念有多种描述方式。1997年Proteus工或是理解某一具体信息源的一种规则，并把信息转化为较为 程的创建者Grishman描述信息抽取的概念为“信息抽取涉及规则的格式，如xML或关系表格。包装器是特定的对某一个 到为从文本中选择出的信息创建一个结构化的表示形式(比 给定的网站。紧密地与抽取的网页结构和标记语言相联系 如：数据库-oft信息抽取是一种文本处理技术，其目的是根 的。包装器最具挑战性的方面就是能从许多不相关的文本中 据预定义好的模板，从自然语言文本中抽取出特定的信息， 识别所要抽取的信息。 并将其形成结构化的数据，然后填入一个数据库中供用户查 2研究的产生和发展 询使用的过程。信息抽取不仅能帮助人们方便地找到所需信 息，而且信息的内容经过合理的分析和组织后，人们可以有 从自然语言文本中获取结构化信息的研究始于20世纪 效地获取感兴趣的信息，并可在此基础上进一步进行数据挖 印年代中期，这被看作是信息抽取技术的初始研究。信息抽 theArchitecture 掘、文本生成等后续信息处理。 取技术最早是由G．Wiederhold在《Mediatorsin of 1．2 Web信息抽取 FutureInformationSvste咖》一文中提出。从20世纪80年代 1．2．1 Web信息抽取 末开始。信息抽取研究蓬勃开展起来，主要得益于消息理解 Web信息抽取就是从Web页面所包含的无结构或半结构