基于视觉信息和dom树的deep web数据自动抽取-deep web data automatic extraction based on visual information and dom tree.docxVIP

万方数据 独 创 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含未获得 （注：如没有其他需要特别声明的， 本栏可空）或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 签字日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有关 部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。同时授权中国科学技术信息研究所将本学位论文收录到《中国学位论文全文 数据库》，并通过网络向社会公众提供信息服务。（保密的学位论文在解密后适用本授权书） 学位论文作者签名： 导师签字： 签字日期： 年 月 日 签字日期： 年 月 日   知识产权保护协议 依据《中华人民共和国促进科技成果转化法》第二十八条和《中哥海洋大 学知识产权管理暂行规定 (200幻.70，i!的有关规定，研究生马扎nl._明 (以 呻林研究生)与其导师 有都 (以下简称导师:l论讪权保护 事宜达成如下协议 : 1 、研究生在校期间从事科研工作所完成的学位论文以及不论是否写入学 位论文的其他成果属职务成果。研究生不得对上述职务成果以自己或他人名义擅 自向第二方转让或泄漏。 2 、研究生离校后三年内，不得擅自将在校期间从事科研工作的相关数据、 研究结果和相关技术发表论文，不得擅自向第三方转让或泄漏。 3、研究生离校后三年内，若进行重复及延续在校研究课题的科技项目，必 须经导师及巾国海洋大学同意并协商知识产权分享事宜后，方可开展工作。 4、若研究生违反七述规定，导师及巾国???洋大学有权追究其法律责任，即 : 主主求其停止侵权行为、公开消除影响井予以经济赔偿。 5、双方约定本协议自2014 年 7月 l 口起生效，有效期三年。 研究生(咯签弘外 成叫叭 州俨叮年1吁  月 y尸H 罕 问:   本文得到: 国家自然科学基金项目(No和山东省自然科学基金(No.ZR2012FM016)资助。  基于视觉信息和 DOM 树的 Deep Web 数据自动抽取 摘要 随着互联网的飞速发展，其中已蕴含了海量的信息资源，涵盖了现实世界的 各个领域。相对于 Surface Web，Deep Web 蕴含着更丰富的数据、拥有更多的访 问量和更快的增长速度。但是 Deep Web 页面是动态生成的，难以被传统搜索引 擎索引到。因此，如何有效地获取和利用 Deep Web 页面的数据成为一个重要的 研究方向。Deep Web 数据通过查询结果页面表现出来，但是网页中的数据形式 各异、缺乏结构性，便于用户浏览却难以利用。本文基于网页的视觉信息和 DOM 树结构，对 Deep Web 查询结果页面的数据自动抽取进行了研究，主要研究内容 如下： (1) 定位数据区域。首先通过分析 Deep Web 查询结果页面中数据区域的特 点，找到能够使之定位的视觉特征。然后收集了相关页面作为样本，并对样本中 的节点进行手工标注。通过 Weka 训练得到相应的决策树，最后使用该决策树对 应的规则来定位数据区域。 (2) 抽取数据记录。这个过程分为两步：定位数据记录和去噪。第一步，根 据网页中数据记录的 DOM 树的结构特点及其视觉特征，提出了数据记录定位算 法，但是由此得到的节点中不仅包含了数据记录节点，还有少量的噪音；第二步， 通过 xpath 定义了数据记录的相似度，并通过相似度比较进行去噪，从而得到数 据记录节点。 (3) 对齐数据项。首先将数据记录划分成相应的数据项，然后为便于对齐设 计了相应的数据结构，并基于 xpath 给出了对齐数据项的算法。 (4) 模板。针对数据区域、数据记录以及数据项各自的特点，提出了相应的 模板。通过模板的使用，不仅在抽取过程中避免了大量重复的计算，提高了抽取 速度，而且方便实现连续页面的数据项抽取。 论文的创新点如下：(1)引入了 xpath 的概念，通过 xpath 定义了数据记录的 相似度，从而进行数据记录的去噪。并通过 xpath 的比较完成了数据项的对齐。 (2)提出了数据项粒度的概念，并给出了将数据记录划分为数据项的相应方法。 在以上研究的基础上，设计开发了 Deep Web 查询结果页面的数据自动抽取 系统，并且解决了抽取过程中遇到的其他问题。如 AJAX 异步数据的抽取等。实 I 验表明，本文方法可以快速