基于云计算的Web数据挖掘(免积分).docVIP

第38卷第1OA期 2011年l0月 计算机科学 Computer Science Vo1．38 No．10A 0ct 2011 基于云计算的Web数据挖掘 程苗 (中国科学技术大学管理学院 合肥230026) 摘要因特网是一个巨大的、分布广泛的信息服务中心，其上产生的海量数据通常是地理上分布、异构、动态的，复 杂性也越来越高，若用已有的集中式数据挖掘方法则不能满足应用的要求。为了解决这些问题，提出了一种基于云计 算的web数据挖掘方法：将海量数据和挖掘任务分解到多台服务器上并行处理。采用Hadoop开源平台，建立一个基 于Apriori算法的并行关联规则挖掘算法来验证了该系统的高效性。还提出“计算向存储迁移”的设计思想，将计算在 数据存储节点就地执行，从而避免了大量数据在网络上的传递，不会占用大量带宽。 关键词云计算，数据挖掘，Map／Reduce，关联规则 W eb Data M ining Based on Cloud-computing CHENG M iao (School of Management，University of Science and Technology of China，Hefei 230026，China) Abstract Internet is a huge and widely distributed information service center，the vast amounts of data generated on the Internet are usually geographically distributed，heterogeneous，dynamic and become more complex，it carl not meet the requirements if we use the existing centralized data mining methods．To solve these problems，proposed a cloud compu— ting-based Web data ning method，the massive data and mining tasks will be decomposed on multiple computers parallely processed．W e use open platform Hadoop tO establish a parallel association rules mining algorithm based on Apriori，and it tests an d veriftes the efficiency of system．This paper propo sed a design thinking that“migrate the calcu— lation to the store”，the calculation will be implemented on the local storage nodes，thus it can avoid the large amount of data transmission on the network，and wi11 not take a lot of bandwidtb． Keywords Cloud-computing，Data mining，Map／Reduce，Association rules 1 概述 随着Internet技术的迅猛发展，互联网上的数据呈指数 形式飞速增长，如何在这个全球最大的数据集合中发现有用 信息成为数据挖掘研究的热点。Web数据挖掘是建立在对 web上海量数据分析的基础上，利用数据挖掘算法有效地收 集、选择和存储所感兴趣的信息以及在日益增多的信息中发 现新的概念和它们之间的关系，实现信息处理的自动化。这 对企业获取有用可靠的外界信息，商业运作过程中收集、分析 数据从而做出正确决策有着十分重要的意义。 Web数据挖掘主要是以网络日志为研究对象，利用数据 挖掘技术发现用户行为的潜在规律。目前，基于网络日志的 用户行为模式研究已在网络安全、电子商务、远程教育等多个 领域得到了广泛的应用，是当前的热点研究之一。网络日志 文件中的数据主要包括URL请求、页面间链接的拓扑结构、 注册用户特征等。采用关联规则分析，可获取用户页面访问 行为间的关系；采用聚类分析，可将特征相似的用户或页面归 并分组；采用分类分析，可对用户行为特征进行归类识别；采 用频繁序列模式分析，可获取用户访问习惯。这些常用数据 挖掘方法获取的用户行为模式，解决了页面自动导航、页面重 要性评价以及改进网站设计、提高网站运营效益