MapReduce技术深入理解.pdf

技术创新，变革未来 MapReduce技术深入理解 内容 MapReduce 编程模型 MapReduce内部逻辑 MapReduce输入格式 MapReduce输出格式 MapReduce1运行机制 MapReduce 编程模型 （1） 以WordCount为例，很多MR程序都可以套用 WordCount的思路，如电商网站中统计最流行的N 个搜索词，帮助优化搜索词提示 MapReduce 编程模型 （2） map和reduce函数遵循如下常规格式： map 函数将每个单词转化为key/value对输出，这里key为 每个单词，value为词频1。(k2,v2)是 map 输出的key/value 中间结果对。 reduce 将相同单词的所有词频进行合并，比如将单词k2 ，词频为list(v2)，合并为(k3,v3)。reduce 合并完之后，最 终输出一系列(k3,v3)键值对 MapReduce内部逻辑 （1） MapReduce内部逻辑 （2） Split ：HDFS 中的数据以 Split 方式作为 MapReduce 的 输入 Block 是 HDFS 术语，Split 是 MapReduce 术语 通常1个 Split 对应1个 block，也可能对应多个block，具 体是由 InputFormat 和压缩格式决定的 默认情况下，使用的是 TextInputFormat ，这时1个Split对 应1个block，上图4个Split对应4个Block Mapper解析出的数据输出到本地磁盘上 MapReduce内部逻辑 （3） Map阶段由一批同时运行的Map Task 组成，每个 Map Task 由3个部分组成： InputFormat ：对输入数据格式进行解析，默认为 TextInputFormat ，key代表每行偏移量，value代表每行数 据内容。 Mapper ：输入数据处理 Partitioner ：数据分组，Mapper 的输出key会经过 Partitioner 分组选择不同的Reduce。默认Partitioner 会对 map 输出的key进行hash取模，比如有6个Reduce Task ， 它就是模 （mod）6 ，如果key的hash值为0 ，就选择第0个 Reduce Task。这样不同的map 对相同key，它的 hash 值 取模是一样的 MapReduce内部逻辑 （4） Reduce 阶段由一批同时运行的 Reduce Task 组成，每个 Reduce Task由4个部分组成： Shuffle ：Reduce Task 远程拷贝每个 map 处理的结果， 从每个 map 中读取一部分结果，每个 Reduce Task 拷贝哪 些数据，是由 Partitioner 决定的 Sort ：读取完数据后，会按照key排序，相同的key被分到 一组 Reducer ：数据处理，以WordCount为例，对相同的key 计词频数 OutputFormat ：数据输出格式，Reducer 的结果将按照 OutputFormat 格式输出，默认为 TextOutputFormat ，以 WordCount为例，这里的key为单词，value为词频数 MapReduce 内部逻辑 （5） 缓冲区默认为100M，由io.sort.mb属性控制 缓冲区快要溢出时 （默认为缓冲区大小的80% ，由 io.sort.spill.percent属性控制），写磁盘，最后合并， reduce端也一样，reduce端拿到的map端数据是按key排序 MapReduce输入格式 MR输入格式——FileInputFormat 所有使用文件作为数据源的 InputFormat 的基类 作用是设置作业的输入文件位置 FileInputFormat 提供了四种静态方法来设定 Job 的输入 路径 MR输入格式——TextInputFormat 默认的 InputFormat 键是存储该行在Block中的字节偏移量 