Web信息抽取中的数据交叉定位.pdfVIP

华南理工大学学报(自然科学版) 第36卷第5期 JournalofSouthChina of V01．36No．5 UniversityTechnology 2008年5月 Science 2008 (Natural Edition) May Web信息抽取中的数据交叉定位木 陈天 黄敏 (华南理工大学软件学院，广东广州510006) 摘要：通常，当网页发生的变化超出包装器脚本的容忍度时，只能通过修改包装器脚本 来重新定位待抽取数据．为此，文中提出了一种基于交叉定位的数据定位方法．该方法通 过设立多个坐标系对待抽取数据进行定位，当一个坐标系失效后，其余坐标系能对失效坐 标系进行修复并能正确抽取数据．实验结果表明，使用交叉定位的Web包装器能在不降 低信息抽取性能的情况下，大幅提高包装器脚本对HTML页面变化的容忍度． 关键词：Web信息抽取；信息检索；包装器；交叉定位 中图分类号：TP391；TP393文献标识码：A Web信息抽取就是从无结构或半结构化的HTML 1 现有数据定位方法 页面中抽取用户感兴趣的信息，将它转换为结构化 的数据进行存储．为了有效地实现半结构化HTML 现有的Web包装器描述语言从数据定位方法 网页内容的识别与抽取，近年来人们进行了大量的 上可以分为三大类，第一类是将HTML页面看成纯 研究工作，取得了许多研究成果¨。5J．这些研究结果 粹的文本流，利用文本序列特征模式匹配、正则表达 中所采用的方法，都是由人工或者计算机自动归纳 J 式等方法从HTML页面中抽取数据，如IEPAD帕‘7 出某类HTML网页中的数据表示模式，并利用某种 就采取这种方法．这种方法具有信息抽取效率高、速 包装器描述语言记录下这种数据表示模式，再由信 度快等优点，但忽略了HTML文档树状结构所包含 息抽取程序利用包装器描述语言解释HTML页面 的有用信息，其约束性过强的抽取规则导致无法很 簇，实现数据的自动抽取．信息抽取过程可形式化表 好地容忍页面的细微变化．第二类是直接采用某种 示为 比较高级的脚本语言，如VBScript脚本语言，利用脚 W：S．D， 本语言预定义好一些可用对象进行数据定位．这种 其中，5表示HTML源文档集合{|s。，．s：，…，5。}；S，， 方法的特点是灵活性高，具有较强的表达能力，但脚 S：，…，|s。的HTML结构具有相似性；D表示结构化 本语言往往会比较复杂，不利于计算机自动归纳生 的数据集合{D。，见，…，D。}，可以是数据库或XML 成，WebL【8o就属于这种类型．第三类方法是将HTML 格式的数据；D。，D：，…，D。的结构相同；W是．s到D 文档转换为一棵DOM树，然后用一个路径表达式 的映射，即信息抽取