deep web页面结构分析与核心内容提取研究word格式论文.docxVIP

优秀毕业论文 精品参考文献资料 extracted from these blocks. Finally, the experimental results prove the feasibility and effectivenss of this approach. Keywords: Deep Web page, content structure, rich-content area, Visual-Block-Tree, TVS algorithm 重庆大学硕士学位论文 目 录 目 录 中文摘要I 英文摘要 II 1 绪论 1 1.1 课题研究背景与研究意义 1 1.2 国内外研究现状 2 1.3 研究方法 4 1.4 本文的主要工作 6 1.5 本章小结 8 2 本文相关理论与技术 9 TOC \o 1-2 \h \z \u  HYPERLINK \l _TOC_250009 2.1 HTML 技术介绍 9  HYPERLINK \l _TOC_250008 2.1.1 HTML 的基本结构 9  HYPERLINK \l _TOC_250007 2.1.2 HTML 语言的标签结构 11  HYPERLINK \l _TOC_250006 2.2 CSS 技术介绍 12  HYPERLINK \l _TOC_250005 2.2.1 CSS 的特点 12  HYPERLINK \l _TOC_250004 2.2.2 CSS 样式表的分类 12  HYPERLINK \l _TOC_250003 CSS 选择器 14  HYPERLINK \l _TOC_250002 CSS 优先级规则 15  HYPERLINK \l _TOC_250001 2.3 HTML Parser 15  HYPERLINK \l _TOC_250000 2.4 Web 文档结构相似性算法 16  2.4.1 傅里叶变换相似性算法 17 2.4.2 树编辑距离相似性算法 18 2.4.3 标签相似性算法 18 2.4.4 路径相似性算法 18 2.5 本章小结 19 3 Deep Web 页面的标签特征和视觉特征分析 20 3.1 标签特征 20 3.1.1 标签的视觉性 21 3.1.2 页面之间的标签特征 21 3.2 视觉特征 25 3.2.1 页面布局 25 3.2.2 颜色 25  3.3 本章小结 26 4 Deep Web 页面内容结构提取 27 4.1 Tag-Tree 噪声节点过滤 29 4.2 视觉块聚类 30 4.2.1 标签相似性计算 32 4.2.2 视觉相似性计算 33 4.2.3 具体实现 35 4.3 本章小结 37 5 Deep Web 查询结果页面 rich-content area 提取 39 5.1 查询页面和查询结果页面的比较 40 rich-content area 的提取 41 5.3 本章小结 41 6 实验结果与分析 43 6.1 树型相似性算法的实验结果 44 6.2 内容结构提取的实验结果 45 6.3 核心内容域提取的实验结果 47 6.4 本章小结 50 7 总结和展望 51 7.1 本文总结 51 7.2 展望 52 致 谢 53 参考文献 54 附 录 58 A. 作者在攻读硕士学位期间发表的论文目录 58 B. 作者在攻读硕士学位期间参与的科研项目 58 重庆大学硕士学位论文 1 绪论  PAGE 58 1 绪论 1.1 课题研究背景与研究意义 随着 Web 技术的发展，网络中的信息量已超过十万 TB 数量级，而且仍在以 很快的速度增长[1]。第 27 次中国互联网络发展状况统计报告显示，中国的网页规 模自 2003 年起基本保持翻番增长，截止 2010 年底，网页数量达到了 600 亿个， 年增长率为 78.6%[2]。最近几年，万维网中存在着越来越多的可以通过查询接口检 索到的 Web 数据库，其数量达到了 2500 万 [3]。Web 中的信息主要通过网页的形 式发布，根据蕴含信息的“深度”可以将整个 Web 划分成 Surface Web 和 Deep Web 两类。Surface Web 一般是指可以通过传统搜索引擎搜索的页面集合；Deep Web 则 是指不能被传统搜索引擎搜索到的页面集合，其页面主要通过查询接口从数据库 中动态生成，所有 Web 数据库组成了 Deep Web[4]。Deep Web 的内容质量比 Surface Web 高，而且相对于传统的 Surface We