基于Web页面结构的网页数据提取研究-计算机软件与理论专业论文.docxVIP

AbstractThen Abstract Then research on the extraction algorithm of data record．For this we introduce the concept of data record length．And accordingly proposed”Count Data Record Length by Path Structure algorithm(CDL_PathStructure)”．On the basis of obtained the data record length in each data record，we extracted the data units sequentially and composite every data record by the data record length． KEY WORDS：DOM··Tree MMTD Target data area List· IH 万方数据 基于Web页面结构的网页数据提取研究目录 基于Web页面结构的网页数据提取研究 目录 摘要 ．I ABSTRACT ．． I工 目录 IV 第一章绪论 ． ．．．． ．1 1．1研究背景及意义 ． 1 1．2国内外研究现状 ．2 1．3本文主要研究问题 ． ．4 1．4本文的章节安排 ．5 第二章Web页面数据抽取及相关技术概述 ．1 2．1半结构化数据(Semi-structured Data) ．．1 2．1．1半结构化数据定义 1 2．1．2半结构化数据的特点 ．2 2．2 Web页面数据抽取 ．．2 2．2．1 Web页面数据抽取定义 ．．2 2．2．2数据抽取与信息检索 3 2．3常见Web结构分类 ．4 2．4 DOM文档树 ．．6 2．5解析HTML的工具 8 2．5．1 WebBrowser ．．． ． ．． 8 2．5．2 HtmlParser 9 第三章Web页面目标数据区域定位 11 3．1 Web页面结构特征 ． 1l 3．1．1解析HTML源文件 ．．． 11 3．1．2叶子节点组最小子树获取算法 ．12 3．1．3目标数据区域结构特征分析 17 3．2中介数学理论(删TD) ． ．．19 3．3基于MMTD目标数据区域定位算法(DL MMTD) ．2l IV 万方数据 目录3．4实验验证 目录 3．4实验验证 24 3．4．1数据集选择 ．．24 3．4．2实验检测指标 25 3．4．3实验结果对比 25 3．5本章小结 26 第四章数据记录抽取 28 4．1数据记录(DataRecord) ．． ．．28 4．2 RST算法介绍 29 4．3基于路径结构的数据记录长度求取算法 ．31 4．4数据记录边界确定 ．．34 4．5本章小结 ． ． ．34 第五章基于Web页面结构的数据提取实验分析 ．．35 5．1整体流程 35 5．2实验数据集 ．35 5．3实验评价指标 ．．36 5．4实验结果 ．． ．．． ．37 5．3本章小结 38 第六章总结与展望 ．．39 6．1本文内容总结 ．．．． ．．． ． 39 6．2展望 ．． 40 参考文献 ． ．41 附录A图索引 46 Appendix A Figure Index ． ． 47 附录B表索引 48 Appendix B Table Index 49 致谢 50 攻读硕士学位期间学术活动及成果情况 5l V 万方数据 第一章绪论第一章绪论 第一章绪论 第一章绪论 1．1研究背景及意义 21世纪是互联网技术高速发展的世纪，人们甚至称目前的社会为互联网时 代，足以说明互联网在当今社会中的重要性。在过去的几十年间伴随着互联网技 术的突飞猛进的发展人们可以接受并且利用的信息也呈现指数型增长趋势，尤其 是Internet上作为信息的主要载体Web网站数量的极速增长。文献n1的调查显 示看Web的惊人信息量。这些海量的信息给我们的生活带来了前所未有的改变。 同时信息中也加载这大量的垃圾信息和我们不关心的信息。那么如何从大量杂乱 的Web信息数据中获取我们关心的数据并且加以利用将显得尤为重要。从Web页 面中提取出我们感兴趣的数据并且对其做结构化处理的工作称为网络信息提取 (Web Information Extraction∥2·31 如今Web信息提取已经成为国内外学者研究的热点之一，并且很多方法相继 提出。其中主要都是基于HTML标签结构n3，网页的DOM树结构隋1和视觉树特征来 做具体处理。但是由于web技术的快速发展更新，网站也变得越来越大网页的设 计方法也在不停的更新，为了使网页美观且容易观察网页技术从最基础的HTML 标