基于Dirichlet过程的DeepWeb数据源聚类分析-计算机软件与理论专业论文.docxVIP

重庆大学硕士学位论文英文摘要 重庆大学硕士学位论文 英文摘要 PAGE PAGE IV In the end, the Deep Web data sources clustering experiment was carried out on the common data sets. Compared with other clustering method, experimental results demonstrate a good performance on F-measure and Entropy. Method of this thesis has less dependence on parameter setting and has better clustering result. Key words: Deep Web, Feature extraction, Data sources clustering, Topic model, Dirichlet process 重庆大学硕士学位论文目 重庆大学硕士学位论文 目 录 目 录 中文摘要I 英文摘要 II 1 绪 论 1 1.1 论文研究背景及意义 1 1.1.1 研究背景 1 1.1.2 研究意义 2 1.2 国内外研究现状 2 1.3 论文主要工作 5 1.4 论文组织结构 6 1.5 本章小结 7 2 相关理论与技术 8 HYPERLINK \l _TOC_250009 Deep Web 概述 8 HYPERLINK \l _TOC_250008 Deep Web 定义 8 HYPERLINK \l _TOC_250007 Deep Web 数据集成 10 HYPERLINK \l _TOC_250006 2.2 Deep Web 数据源聚类关键技术 11 HYPERLINK \l _TOC_250005 2.2.1 Deep Web 数据源的模型化 11 2.2.2 相似度计算 14 2.2.3 相似度组织 15 HYPERLINK \l _TOC_250004 Dirichlet 过程 16 HYPERLINK \l _TOC_250003 Dirichlet 分布 16 HYPERLINK \l _TOC_250002 Dirichlet 过程的定义 17 HYPERLINK \l _TOC_250001 Dirichlet 过程的构造方式 17 2.4 本章小结 19 HYPERLINK \l _TOC_250000 3 Deep Web 数据源特征提取 20 3.1 概述 20 3.2 表单特征抽取 21 3.2.1 查询接口文本 21 3.2.2 查询接口文本预处理 23 3.3 特征提取算法 24 3.3.1 基于 HDP 的特征提取算法 25 3.3.2 对比特征提取算法 28 3.4 本章小结 30 4 Deep Web 数据源聚类算法 31 4.1 概述 31 Dirichlet 过程混合模型 31 4.2.1 模型描述 32 4.2.2 参数推导方法 34 基于 DPMM 的 Deep Web 数据源聚类 35 4.4 加权的 Gibbs 抽样算法 37 4.5 本章小结 39 5 实验结果与分析 40 5.1 实验总体介绍 40 5.1.1 实验设计 40 5.1.2 实验数据 40 5.1.3 评价指标 41 5.2 特征提取实验 42 5.2.1 HDP 特征提取实验结果 42 5.2.1 LDA 特征提取实验结果 43 5.3 聚类结果及对比 43 K-means 聚类结果 43 DPMM 聚类结果 45 W-DPMM 聚类结果 46 5.3.4 实验小结 47 5.4 整体实验结果对比 48 5.5 本章小结 50 6 总结与展望 51 6.1 全文总结 51 6.2 下一步工作展望 51 致 谢 53 参考文献 54 附 录 57 A. 作者在攻读硕士学位期间发表的论文目录 57 重庆大学硕士学位论文1 重庆大学硕士学位论文 1 绪 论 PAGE PAGE 10 1 绪 论 1.1 论文研究背景及意义 研究背景 伴随着互联网技术的迅猛发展，互联网上所蕴含的信息也呈现指数级增长。 当前互联网已经成为影响全球经济社会发展、改变人民生活形态的关键行业。据 2015 年 1 月中国互联网信息中心发布的第 35 次中国互联网络发展状况统计报告指 出[1]，截至到 2014 年 12 月，中国互联网上的网页数量为 1899 亿个，年增长