基于MapReduce的并行小波聚类.pdfVIP

科技探·索·争||l S科cience技Tech视nology界Vision Tr论坛 基于MapReduee的并行小波聚类 欧炳华 (桂林电子科技大学数学与计算科学学院，广西 桂林 541004) 摘【 要】本文结合MapReduce编程模型和小波聚类算法特点，实现基于MapReduce的并行小波聚类算法。用5台电脑和2．75GB数据验 证并行小波聚类算法的性能。结果表明并行小波聚类算法具有较好的加速比 关【键词】MapReduce；小波变换；小波聚类 TheParallelW aveClusterBasedonM apReduce OU Bing-hua (SchoolofMathematicsandComputationalScience,GulinUniversityofElectronicTechnology，GuilinGuangxi541004，China) A【bstract]CombinedwithMapReduceandthecharacteristicsofWaveCluster，realizeparallelWaveClusterbasedOilMapReduce．With5 computersand2．75GB ofdataverifytheperformanceoftheparallelWaveClusteralgorithm．Resultsshow thattheparallelWaveClusterhas good speedup． 【Keywords]MapReduce；Wavelettransfomr；WaveCluster 0 前言 换，获得新特征空间，在新特征空间上检测连通单元 (簇)，并给连通单 元(簇)分配类标签。第三阶段是构造新特征空间单元与旧特征空间单 互联网的快速发展带来了大量数据，依靠单机技术已经很难处理 元之间的映射关系，并把每个数据对象标明类标签。图2是小波聚类 如此海量的数据，并行技术是处理海量数据的重要方法。鉴于小波在 流程图。 时频域上的局部化分析能力，以及小波聚类算法在数据处理中的良好 表现，研究多机并行环境下的小波聚类算法具有重要意义。 1 MapReduce编程模型 MapReduce是海量数据分布式并行运算的编程模型_1】该模型把 海量数据运算问题分成多个数据块并行运算问题2[1．而在并行运算中 的任务启动、任务调度、网络通信等复杂问题 ，都 由MapReduce编程 模型解决．使用者只需编写map和reduce函数代码就可以运算海量 数据。图1是MapReduee编程模型，输人数据集被划分成多个分片 (split)，每个分片(split)被分配到指定的Map任务节点，Map任务节点 读取指定分片(split)内容并解析成键值对kl，v1．map函数代码处理 每一条键值对kl，v1，获得另一组键值对3【】k2，v2，按照 k2排序后 把键值对复制到Reduce任务节点 Reduce任务节点合并所有从Map 任务节点复制过来的数据 ．得到k2．1istv2．然后执行reduce函数 [ 垂 受[] 代码．把运算结果存储到分布式文件系统(HDFS)[3]。 图2 小波聚类流程图 M■任务节点 3 并行小波聚类算法 小波聚类算法处理海量数据需要耗费大量的运行时间。因此 ，本