课程课件笔记0918-mapreduce一mapreduce的入门与运行原理.pdfVIP

一 MapReduce 入门 1.1 MapReduce 定义 Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据 应用”的 框架； Mapreduce 功能是将用户编写的业务逻辑代码和自带默认组件整 合成一个完整的分布式运算程序，并发运行在一个 hadoop 集群上。 1.2 MapReduce 优缺点 1.2.1 优点 1）MapReduce 易于编程。它简单的实现一些接口，就可以完成一 个分布式程序，这个分布式程序可以分布到大量廉价的 PC 机器运 行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模 一样的。 就是因为这个特点使得 MapReduce 编程变得非常流行。 2）良好的扩展性。当你的计算资源 得到满足的时候，你可以通过 简单的增加机器来扩展它的计算能力。 3）高容错性。MapReduce 设计的初衷就是使程序能够部署在廉价 的 PC 机器上，这就要求它具有很高的容错性。比如其中一台机器挂 了，它可以把上面的计算任务转移到另外一个节点上面上运行，不至 于这个任务运行失败，而且这个过程不需要人工参与，而完全是 由 Hadoop 内部完成的。 4）适合 PB 级