基于云计算的Web数据挖掘免积分.docVIP

第38卷第1OA期 2011年l0月 计算机科学 Computer Science Vo1．38 No．10A 0ct 2011 基于云计算的Web数据挖掘 程苗 (中国科学技术大学管理学院 合肥230026) 摘要因特网是一个巨大的、分布广泛的信息服务中心，其上产生的海量数据通常是地理上分布、异构、动态的，复 杂性也越来越高，若用已有的集中式数据挖掘方法则不能满足应用的要求。为了解决这些问题，提出了一种基于云计 算的web数据挖掘方法：将海量数据和挖掘任务分解到多台服务器上并行处理。采用Hadoop开源平台，建立一个基 于Apriori算法的并行关联规则挖掘算法来验证了该系统的高效性。还提出“计算向存储迁移”的设计思想，将计算在 数据存储节点就地执行，从而避免了大量数据在网络上的传递，不会占用大量带宽。 关键词云计算，数据挖掘，Map／Reduce，关联规则 W eb Data M ining Based on Cloud-computing CHENG M iao (School of Management，University of Science and Technology of China，Hefei 230026，China) Abstract Internet is a huge and widely distributed information service