web信息抽取现状和未来展望论文.pdfVIP

2009年6月 廊坊师范学院学报 (自然科学版) Jun．2009 第9卷第3期 JournalofLangfangTeachersCollege(NaturnalScienceEdition) Vo1．9No．3 Web信息抽取的现状及未来展望 李海健 王晓丰 (廊坊师范学院，河北 廊坊 065000) 摘【 要】web信息抽取是Web数据挖掘、机器翻译等应用的基础，是当今的一个研究热点。在分析了已有的 Web信息抽取方法基础上，对有待进一步研究的方向进行 了展望。 【关键词】 Web信息抽取；HTML；Web AnalysisofW ebInformationExtractionM ethods _ LIHa ian WANG X 0 A【bstract】 WebinformationextrationistheaDplicationbasisofWebdatamining，machinetranslationandSOon．Itisa studyintoday’Shotspots．Thispaperanalyzestheexistingwebinformationextractionmethods，andforecaststhefurther studyofWebinformationextration． 【Keywords】 WebInformationExtraction；HTML；Web [中图分类号]TP393 [文献标识码]B [文章编号]1674—3229(2009)03—0039—02 主要思想是用归纳式学习方法生成抽取规则。用户 1 现有的Web信息抽取方法 在一系列的网页中标记出需要抽取的数据，系统在 1．1 基于自然语言处理方式的信息抽取 这些例子的基础上归纳出规则。这些规则的精确度 使用 自然语言处理进行信息抽取 ，需要经过的 如何取决于例子的质量如何。如果能代表那些需要 处理步骤包括 ：句法分析、语义标注、专有对象的识 处理的网页，这些例子就是高质量的。对于我们来 别(如人物、公司)和抽取规则。具体说来就是把文 说 ，提供好的样本网页要比提供明确的完整的规则 本分割成多个句子，对一个句子的句子成分(partof 要容易。 speech，简称为 POS)进行标记，然后将分析好的句 归纳学习法作为一种机器学习方法用来学习包 子语法结构和事先定制的语言模式 (规则)匹配，获 装器的规则，优于手动生成包装器等其他包装器生 得句子的内容即抽取信息。规则可由人工编制，也 成方法的地方在于：自动归纳规则 ，减轻了人力负 可从人工标注的语料库中自动学习获得。这类信息 担、减少了人为错误，并且当Web页面变化时，能对 抽取技术中所用的抽取规则主要建立在词或词类间 规则做适当调整，适应这种变化。 句法关系的基础上。 与 自然语言处理方式比较，包装器较少依赖于 基于 自然语言处理方式在含有大量 自由文本且 全面的句子语法分析和分词等复杂的自然语言处理 句子完整、适合语法分析的网页中的信息抽取取得 技术 ，更注重于文本结构和表现格式的分析。这种 了较好效果。这种方式的缺陷是： 方式更适合于Web页面的信息抽取，使用包装器能 (1)将 Web页面视为普通文本处理 ，没有充分 充分发掘 Web