Hadoop开发案例第4章 计算系统MapReduce.pptxVIP

引言 MapReduce是Hadoop系统的核心组件，由Google的MapReduce系统经过演变而来，主要解决海量大数据计算的，也是众多分布式计算模型中比较流行的一种，可以单独使用，一般配合HDFS一起使用。本章通过对MapReduce的概念介绍、Hadoop数据类型、Hadoop序列化、Hadoop的执行过程、MapReduce常用接口类的学习。让学生深刻理解和运用MapReduce系统。 MapReduce简介 2004年，Google发表MapReduce的论文，MapReduce主要应用于日志分析、海量数据的排序、索引计算等应用场景。后来道格.卡丁根据Google的论文MapReduce开发一个框架并将源代码贡献出来。 MapReduce是一种思想，是一种分布式计算模型，由Google提出，主要用于搜索领域，解决离线海量数据的计算问题，但是不能实现对实时数据的分析和处理。MapReduce解决问题的思路如下图1所示。对Hadoop来说，MapReduce是一个分布式计算框架。归结起来就是“分而治之，迭代汇总”。就是把一个大的任务拆解开来，分成一系列小的任务并行执行，使得这些任务快速解决， MapReduce简介 MapReduce简介 MapReduce由两个阶段组成： map()：任务分解 reduce()：结果汇总 这两个函数的形参是key、value对，表示函数的输入信息。 MapReduce数据类型与格式 Hadoop框架是在Java的基础上进行开发的，Java的数据类型在Hadoop中也能使用，但是具有一定的局限性，为了提高Hadoop对数据的处理能力，开发者在Hadoop研发中，增加了Hadoop特有的数据类型，这些数据类型通过实现接口Writable实现。 MapReduce数据类型与格式 数据类型Writable借口 在Hadoop中Java基本类型都可以对应Writable类型的封装Hadoop将很多Writable类归入org.apache.hadoop.io包中，所有这些Writable类都是继承自WritableComparable。也就是说，它们是可比较的。同时，它们都有get()和set()方法，用于获得和设置封装的值。 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象. MapReduce的任意Key和Value必须实现Writable接口. MapReduce的任意key必须实现WritableComparable接口 Hadoop序列化机制 Hadoop的序列化机制与Java的序列化机制不同，它将对象序列化到流中，Java的序列化机制是不断的创建对象，但在Hadoop的序列化机制中，用户可以复用对象，这样就减少了Java对象的分配和回收，提高了应用效率。 序列化（Serialization）是指把结构化对象转化为字节流，便于在网络上传输或写到磁盘进行永久存储。 反序列化（Deserialization）是序列化的逆过程。就是把字节流转换结构化对象。 Hadoop序列化机制 Hadoop序列化格式特点： 紧凑：高效使用存储空间。 快速：读写数据的额外开销小 可扩展：可透明地读取老格式的数据 互操作：支持多语言的交互 Hadoop序列化的作用 序列化在分布式环境的两大作用：进程间通信，永久存储。 Hadoop节点间通信。 MapReduce架构 Hadoop中的MapReduce主要有两个版本：MRv1和MRv2。MRv1包括3部分：MapReduce编程模型、数据处理引擎和MapReduce运行环境（JobTrack和TaskTrack）。MapReduce编程模型对任务抽象成map和reduce处理的任务。数据处理引擎负责任务运行的数据处理，包括数据分片，任务数据的输入输出。MapReduce运行环境为程序的运行提供支持，如节点通信，任务分配和调度，资源管理等。MRv1的弊端是JobTrack管理所有的任务，当任务过多时，JobTrack的负载过重，造成系统不能正常运行。 MapReduce架构 MapReduce执行过程 MapReduce运行的时候，通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。 Shuffle过程 Shuffle过程是从Mapper产生的输出数据开始，经过一系列的处理，最终成为Reducer的直接输入数据的整个过程，这一个过程也是MapReduce的核心过程。 S