分布式数据库大作业收集.pdfVIP

分布式数据库大作业 Hadoop MapReduce云计算模型研究 学院： 软件学院 专业： 软件工程 2014 年 01 月 02 日 大连理工大学 分布式数据库大作业 Hadoop MapReduce云计算模型研究 1. 引言 Hadoop[1]是一个分布式系统基础架构，由 Apache 基金会开发。用户可以在 不了解分布式底层细节的情况下， 开发分布式程序。 充分利用集群的威力高速运 算和存储。简单地说来， Hadoop 是一个可以更容易开发和运行处理大规模数据 的软件平台。其包括两个部分： HDFS[2]和 MapReduce[3]。 DFS即 HadoopDistributedFileSystem(Hadoop分布式文件系统 )，HDFS具有高 容错性，并且可以被部署在低价的硬件设备之上。 HDFS 很适合那些有大数据集 的应用，并且提供了对数据读写的高吞吐率。 HDFS是一个 master/slave 的结构， 就通常的部署来说，在 master 上只运行一个 Namenode，而在每一个 slave 上运 行一个 Datanode。HDFS支持传统的层次文件组织结构，同现有的一些文件系统 在操作上很类似， 比如你可以创建和删除一个文件， 把一个文件从一个目录移到 另一个目录，重命名等等操作。 Namenode 管理着整个分布式文件系统，对文件 系统的操作（如建立、删除文件和文件夹）都是通过 Namenode 来控制 [4] 。 MapReduce 是由 Google 提出的一种并行分布式编程模型 [5-7] 。用以进行大 数据量的计算。对于大数据量的计算， 通常采用的处理手法就是并行计算。 至少 现阶段而言，对许多开发人员来说，并行计算还是一个比较遥远的东西。 MapReduce就是一种简化并行计算的编程模型， 它让那些没有多少并行计算经验 的开发人员也可以开发并行应用。 MapReduce 的名字源于这个模型中的两项核心 操作： Map 和 Reduce。也许熟悉 FunctionalProgramming （函数式编程）的人见 到这两个词会倍感亲切。 简单的说来， Map 是把一组数据一对一的映射为另外的 一组数据，其映射的规则由一个函数来指定，比如对 [1,2,3,4]进行乘 2 的映射就 变成了 [2,4,6,8] 。Reduce是对一组数据进行归约，这个归约的规则由一个函数指 定，比如对 [1,2,3,4]进行求和的归约得到结果是 10，而对它进行求积的归约结果 是 24。 2. MapReduce的基本原理 分布式数据库大作业 MapReduce是云计算的核心技术之一， 它为并行系统的数据处理提供了一个 简单、优雅的解决方案。 其主要目的是为了大型集群的系统能在大数据集上进行 并行工作，并用于大规模数据的并行运算。 Divide and Conquer ”是 Mapreduce 的核心思想 [8] 。面对一个规模庞大的 问题，要处理是以 TB 计的数据， Mapreduce采用“输入” “分解” “解决” “聚合” “输出结果”的基本过程。 在 MapRedcue 模型中用户只须指定一个