面向电子商务的深层网入口挖掘研究-管理科学与工程专业毕业论文.docxVIP

则yj则 杭州电子科技大学硕士学位论文 面向电子商务的深层网入口挖掘研究 研究生:张锐 指导教师:王晓耘教授 2011 年 3 月 Dissertation Submitted to Hangzhou Dianzi University for the Degree of Master A Study on ECommerce Deep Web Query Interface Mining Candidate: ZHANG Rui Supervisor: Prof. WANG Xiaoyun March ，2011 杭州电子科技大学硕士学位论文 杭州电子科技大学硕士学位论文 摘要 电子商务在近二十年的蓬勃发展取得了世人瞩目的业绩，并以一种前所未有的方式改变 着传统的商务活动的模式和格周，更深刻地影响着人们对商务的认识和理解，改变着人们的 生活和工作方式。随着网络规模在全球的迅猛发展， Intemet 土的 Web 站点及网页数最在以 爆炸性的趋势增长同时随着网络技术的不断进步，越来越多的 Web 数据库需要通过网络查询 入口才能进行访问，学术界称其为深层网 (DeepWeb) 。经相关研究机构和商业机构的调查， 万维网中深层闷的数据存储数量非常巨大，其中电子商务数据占了很大的比重。这些电子商 务数据具有很高的商用价值。然而由于这些电子商务网站网页形式与内容开发的独立性，造 成了 Web 数据库，特别是查询入口的异构性。正因为此原因，自动的从电子商务网站中获取 有价值的信息和数据变成了一件十分具有挑战性的任务。 本文针对深层网挖掘中目前还没有很好解决的如何让机器从语义上理解深层网中的入口 信息问题，充分分析了深层网中电子商务入口中文本标签和查询元素之间的关系以及查询元 素之间的关系。除此之外，从深层网入口的位置特征、布局特征和显示特征三个方面分析了 深层网入口的视觉特征。通过大最电子商务网站深思网入口的观察的基础上得到了一些置信 度很高的-启发式规则，从而提出了基于深层网入口的可视化特征和本体工具 WordNet 分析深 层网入口元素的语义关系来更好的挖掘出人们易于理解的深层网入口语义层次结构的方法。 该方法首先需要对深层网入口页面数据进行预处理。然后，利用基于可视化特征的页面分割 算法构建可视化模块树并利用可视化对树中的文本信息进行聚类及标签信息的识别。最后充 分利用深层网入口中的标签信息间的语义关系构建出合理的标签树并通过查询元素与标签之 间的视觉特征关系对标签树和查询元素进行匹配，从而提高了挖掘语义信息的准确度，进而 提高了深层网信息的获取效率和覆盖率。此外本研究利用 UIUC 网站提供的研究数据对提出 的方法进行了准确度的实验，实验表明，相对于以往的深层网入口挖掘方法，本文提出的方 法在准确性方面具有更好的表现。最后对本研究进行了总结，并提出了未来继续研究的方向。 关键词:深层网，可视化特征， Web 挖掘，语义层次结构， WordNet 杭州电子科技大学硕士学位论文 杭州电子科技大学硕士学位论文 ABSTRACT With the rapid development in 吐le recent 20 years，E-commerce has a remarkable achievement. It changes the traditionalωmmerce mode and pattern wi由 an unprecedented way，and deeply inf1uences the human understanding about the commerce. Whaf s more，it changes the life and production mode of people. As the network size is rapidly developing world wide，the Web sites and the number ofweb pages on Internet are growing explosively. In the meantime ，the continuous improvement of network techniques impels more Web databases can be visited through the network inquiry entrance，it is called Deep Web in academia. According ωthe relevant research institute and business organization， 也tlle Deep Web in Wo时rld