22629945基于MapReduce和GPU雙重并行层次下的关联规则挖掘的探讨.docVIP

基于MapReduce和GPU双重并行层次下的关联规则挖掘的探讨 计算机学院2011级硕七班 张宗禹摘要：数据挖掘是指从巨量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。而关联规则就是其中一种典型的例子,本论文主要关注关联规则的挖掘。在许多情况下，将所有数据集中在一起进行分析往往是不可行的。分布式数据挖掘系统则可以充分利用分布式计算的能力对相关的数据进行分析与综合，再加上可以节省大量的时间和空间开销，分布式数据挖掘应运而生。同时，随着数据量的指数型增加以及对计算量的需求急切增长，已有的数据挖掘软件很难满足应用的实时性需要，人们对并行数据挖掘技术的需求十分强烈。图形处理器(GPU)的最新发展已经能够以低廉的成本提供高性能的通用计算。本文将在介绍当前分布式数据挖掘的发展现状和趋势，以及当前基于GPU的并行数据挖掘发展现状的同时，从理论上以关联规则挖掘为例探讨一种将这两种正火热的技术结合的方法。 关键字：数据挖掘、关联规则、MapReduce、GPGPU、CUDA、Hadoop Streaming 1．研究背景和现状 1.1云计算框架Hadoop和MapReduce计算模型 云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络