一种数据驱动的Wrapper自动生成与维护方法-rucwamdm-中国人民.PPT

一种数据驱动的Wrapper自动生成与维护方法 王仲远 艾静 孟小峰 中国人民大学WAMDM实验室 大纲 背景介绍研究动机 数据驱动的Wrapper自动生成与维护方法 实验 总结 系统介绍 Deep Web 介绍 World Wide Web [CIDR07] 目前可访问的网页超过550 billion 目前主流搜索引擎只索引了超过1billion的页面 Web的划分(按照数据“深浅”程度) Surface Web -通过超链接可以被传统搜索引擎索引到的页面的集合。 Deep Web -无法被传统的搜索引擎索引到的那部分内容。 Deep Web的主要特点 规模 2001年7月BrightP：Web数据库的数量超过4万个 2004年UIUC统计：Web数据库超过45万个 2007年CIDR：Web数据库超过2500万个 是Surface Web的500多倍 结构化程度 75% 主题分布 覆盖了现实世界的各个主题(商业、新闻媒体、娱乐…… ) 自治性和异质性 研究动机 原有的数据抽取方法 基于DOM树分析 Y. Zhai, B. Liu. Web data extraction based on partial tree alignment. In: WWW, 2005. 76-85. D. Hu and X. Meng: Automatically extracting data from data-rich web pages. In: DASFAA 2005, pages828-839, Beijing, China, April 17-20, 2005. Lecture Notes in Computer Science 3453, Springer. 基于视觉的抽取 H. Zhao, W. Meng, Z. Wu, V. Raghavan, C. T. Yu. Fully automatic wrapper generation for search engines. In WWW, pages 66-75, 2005. K. Simon, G. Lausen. ViPER: Augmenting Automatic Information Extraction with Visual Perceptions. In CIKM, pages 381-388, 2005. W. liu, X. Meng, W. Meng. Vision-based Web Data Records Extraction. In: Proceedings of the 9th SIGMOD International Workshop on Web and Databases (SIGMOD-WebDB2006), June 30, 2006 原有抽取方法的缺陷（1） [SL05] K. Simon, G. Lausen. ViPER: Augmenting Automatic Information Extraction with Visual Perceptions. In CIKM, pages 381-388, 2005. ViNTs(MDR-2) [CH07] S.-L. Chuang, K. C.-C. Chang, and C. Zhai. Context-Aware Wrapping: Synchronized Data Extraction. In: VLDB 2007. 699-710 原有抽取方法的缺陷（2） 特征驱动的方法：严重依赖于网页的结构及特征 准确率波动现象 大纲 背景介绍研究动机 数据驱动的Wrapper自动生成与维护方法 实验 总结 系统介绍 Deep Web查询结果页面 查询结果列表（list page） 查询结果记录的详细页面（detailed page） 两个观察 在一系列的匹配页面对上： (1) 若语义块匹配,则源语义块上的数据值与目标语义块上的数据值大部分具有较高相似度值; (2) 若语义块不匹配,源语义块上的数据值与目标语义块上的数据值大部分具有较低的相似度值. 不同网站同一时期的页面 同一网站不同时期的页面 Wrapper生成与维护过程 Wrapper生成扩散 Wrapper维护 基于XPath的Schema-Guided数据抽取方法 基于相似度值的语义块匹配 语义块相似度值的迭代计算 大纲 背景介绍研究动机 数据驱动的Wrapper自动生成与维护方法 实验 总结 系统介绍 在不同领域上的有效性实验 在不同领域上的有效性实验（2） 语义块匹配的收敛速度 语义块匹配的收敛速度 语义块匹配的收敛速度 语义块匹配的收敛速度 大纲 背景介绍研究